A technical report on Composer 2｜Composer 2に関する技術レポート

当社は、エージェント型ソフトウェアエンジニアリングのためのコーディングモデル「Composer 2」のトレーニングに関する技術レポートをarXivに投稿しました。本レポートは、オープンベースモデル「Kimi K2.5」での継続事前学習から大規模強化学習に至るまでのトレーニングプロセス全体を網羅し、実際のCursor環境を忠実に再現することに重点を置いています。 主な内容は以下の通りです。 #継続事前学習と強化学習 Composer 2のトレーニングは二段階で構成されます。第一段階は、コードを重点的に含むデータミックスによる継続事前学習で、ベースモデルのコーディング知識を深化させます。第二段階は、エンドツーエンドのエージェント性能を向上させるための大規模強化学習です。事前学習の損失を低減することが、下流の強化学習性能の向上につながり、優れた基礎知識が確実により優れたエージェントを生み出すことを確認しました。 Composer 2の強化学習トレーニングは、デプロイ済みモデルが使用するものと同じツールとハーネスを備えた、現実的なCursorセッション環境で実施されます。これは、開発者がComposerに依頼する多様なタスクの全体像を反映した問題分布に適用されます。強化学習トレーニングにより、平均性能とbest-of-K性能の双方が向上しており、モデルが既知の解法に集中するだけでなく、新しい解決経路を学習していることを示唆しています。 #CursorBenchによる実世界評価 コーディングモデル構築の核心的な課題は、公開ベンチマークが開発者の実際の作業を反映していないことが多い点です。タスクは過剰に規定され、解法は限定的で、コードベースも小規模になりがちです。 そこで当社は、自社エンジニアリングチームの実際のコーディングセッションから「CursorBench」を構築しました。これには、簡潔で曖昧なプロンプトのタスクや、多数のファイルにわたる数百行の変更を必要とする解法が含まれています。モデルが実問題に対応し続けるよう、トレーニングと評価の全過程でCursorBenchを使用しています。 CursorBenchにおいて、Composer 2は61.3点を獲得し、Composer 1.5と比較して37%の向上を示し、最先端の高性能モデルと競合する結果となりました。公開ベンチマークでは、SWE-bench Multilingualで73.7点、Terminal-Benchで61.7点を記録しています。これらの結果は、同等のモデルと比べて大幅に低い推論コストで達成されており、インタラクティブな開発者ワークフローにおいて、精度とコストのパレート最適なトレードオフを実現しています。 #インフラストラクチャ Composer 2のトレーニングには、相当なインフラストラクチャ開発が必要でした。具体的には、Blackwell GPU上での効率的なMoE（Mixture of Experts）トレーニングのためのカスタム低精度カーネル、複数リージョンに跨る完全非同期の強化学習パイプライン、そして数十万のサンドボックス化されたコーディング環境を実行するための内部コンピュートプラットフォーム「Anyrun」などです。レポートでは、重み同期、フォールトトレランス、環境の忠実性へのアプローチを含む、技術スタック全体について詳述しています。 本レポートには、トレーニングレシピに関するアブレーション研究、エージェントの行動形成へのアプローチ、評価スイートの設計など、上記すべてに関する更に詳細な情報が記載されています。 Kimi K2.5、Ray、ThunderKittens、PyTorch、そして広範なオープンソースコミュニティを支えるチームの皆様に感謝いたします。また、FireworksおよびColfaxの皆様との協業とパートナーシップにも感謝申し上げます。 完全な技術レポートはこちらからお読みいただけます。 ![](/marketing-static/_next/image?url=https%3A%2F%2Fptht05hbb1ssoooe.public.blob.vercel-storage.com%2Fassets%2Fblog%2Fcomposer-2-scatter-r4.png&w=1920&q=70) ![](/marketing-static/_next/image?url=https%3A%2F%2Fptht05hbb1ssoooe.public.blob.vercel-storage.com%2Fassets%2Fblog%2Fcomposer-2-scatter-r4-dark.png&w=1920&q=70) ![](/marketing-static/_next/image?url=https%3A%2F%2Fptht05hbb1ssoooe.public.blob.vercel-storage.com%2Fassets%2Fblog%2Fcomposer-speed-cost-r12.png&w=1920&q=70) ![](/marketing-static/_next/image?url=https%3A%2F%2Fptht05hbb1ssoooe.public.blob.vercel-storage.com%2Fassets%2Fblog%2Fcomposer-speed-cost-r12-dark.png&w=1920&q=70)

Composer 2に関する技術レポート

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト