MLPerf Inference、マルチターン・エージェント推論をベンチマークに追加へ

記事の3ポイント

1. 1

   アジェンティック推論ワークロードの定義

   単発のクエリではなく、コード編集やタスク解決のように複数のターンと依存関係を持つ複雑なワークロードを「Trajectory」として定義し、MLPerf Endpoints に追加した。

2. 2

   推論サーバーへの新たな技術的課題

   コンテキストの成長による KV キャッシュ圧力の増大、出力長の多様性、ターン間の依存関係がスループット指標に与える影響を具体的な課題として挙げている。

3. 3

   評価対象モデルの選定基準

   長文コンテキスト処理や思考能力を要するエージェントアプリケーションの負荷をかけるため、Kimi K2.6 と Qwen3.6-35B-A3B の 2 つの異なるアーキテクチャを持つモデルを選定した。