Together AI、合成データ生成向け高速推論モデル「ThunderAgent」を発表

記事の3ポイント

1. 1

   KV キャッシュのスラッシング解消

   従来の推論エンジンが抱えていた、エージェントの待機時に KV キャッシュが不要に削除・再計算される非効率な問題を解決する新しいプログラム抽象化を導入した。

2. 2

   大規模クラスターでの線形スケーリング

   16 から 64 GPU に至るまで、GPU ノード数に対してほぼ線形でスループットが向上し、8 ノード環境で 2.4 倍の速度改善を達成した。

3. 3

   既存システムとの互換性

   OpenAI との互換性を維持しつつ、単一の program_id フィールドを追加するだけで、既存のオフローディングや推測的デコーディング機能と組み合わせて使用可能である。