#ベンチマーク分析のAIニュース

3件の記事

NVIDIA srt-slurm で LLM ベンチマークを検証

NVIDIA は、srt-slurm フレームワークと srtctl ツールを用いて、分散型大規模言語モデル（LLM）のサービスベンチマークを YAML 設定から再現可能な SLURM ワークフローに変換し、検証する方法を解説したチュートリアルを提供している。

Zvi が Kimi K3 を評価し、ベンチマークで優秀だがクローズドモデルより数ヶ月遅れであることを指摘した。

OpenAIのGPT-5.5はベンチマークで首位を記録するも、頻繁に幻覚（誤回答）が発生し、API利用料は前モデル比20%以上値上げされている。