Devin Fusion：コストを 35% 削減しながら最前線の性能を実現

## Devin Fusion: フロンティア性能をコスト35%削減で実現 Cognition チーム 06.30.26 エンジニアリングチームは、資金を燃やしているようなものです。 すべてのタスクに最も高価なモデルを使用するのはもはや持続可能ではありません。しかし、既存のモデル混合ツールはひどいものです。多くのベンチマークでは美しく見えますが、実際にマージできるコードを書くことには失敗します。 Cognition では、知能を犠牲にすることなくフロンティアモデル間をルーティングすることに特化しています。本日、私たちはコスト削減と実世界での使用における知能維持を保ちながら、モデル混合において大幅に優れた新しい種類のマルチモデルハネスである**Devin Fusion**に関する私たちの取り組みを発表します。私たちは、コードの正しさと品質の両方を測定する新しい最先端コーディングベンチマーク [FrontierCode](https://cognition.com/blog/frontier-code) において、**コストを35%削減しながらフロンティアおよび Fable 5 レベルのパフォーマンスを維持することを見出しました**。 ## Devin Fusion: フロンティア性能をコスト35%削減で実現 FrontierCode 拡張ベンチマークでのスコアとタスクあたりの平均コスト コスト スコア $3.00 Fusion + Fable 5 57.6 $5.12 Fable 5(medium) 57.0 $3.24 Opus 4.8(high) 48.8 $2.38 Fusion 47.9 $3.64 GPT-5.5(high) 44.8 $2.70 GLM-5.2 43.0 この投稿の後半では、なぜ優れたモデルルーティングがそれほど難しいのか、そしてそれをすべて可能にする 2 つの技術について解説します：**「サイドキック」アプローチとセッション中の動的ルーティング**です。 プレビュー版で Devin Fusion をお試しください。[app.devin.ai/signup](https://app.devin.ai/signup?source=fusion_blog) よりアクセス可能です。 ## The Trick: Sidekick 私たちのアーキテクチャの鍵となるアイデアは、2 つの並列エージェントを実行することです。1 つは最先端モデルを備えたものであり、もう 1 つはよりコスト効率の良い「サイドキック」モデルです。両者とも独自のツールセットと、自らのコンテキストに基づいて情報を収集・行動する能力を持つ、完全に機能するエージェントです。 ![image](https://cognition.com/_next/image?url=%2F_next%2Fstatic%2Fmedia%2Fsidekick-diagram.153unbtaywtzg.png&w=3840&q=75&dpl=dpl_61A9tmCVMoDCBuCMgQCWdnRWDGhs)タスクが進行するにつれて、メインのエージェントはどのタスクをサイドキックに任せるか、どのタスクを自分自身で行うかを決定します。しかし、実務においてサイドキックを効果的に機能させるためには、相互作用のパターンを深く調整する必要があります。私たちは、メインエージェントは最小限のアクションにとどめ、絶対に必要な情報だけを参照すべきであることを発見しました。デフォルトでは、計画策定、曖昧さの解釈、最終レビューといった重要な決定を行いながら、タスクの委任と監視を行うべきです。 このアプローチにより、より基本的なモデルルーティングにおける主要な問題が解決されます： - 「ベンチマークスコア」に基づく知能ではなく、実際の最前線の知能を保持します。ルーターは特定のベンチマークに過剰適合する傾向があります。混合された最前線モデルを維持することで、サイドキックアプローチは最前線モデルの創造性と一般知能からの恩恵を受け続けます。 - 単一のプロンプトタスクや質問応答を超えて汎化します。モデルルーターは多くの場合、タスク全体に対して単一のモデルにルーティングします。プロンプトにはタスクの難易度を適切に見極めるための十分な情報が含まれていないことが多く、さらにユーザーが単純な初期プロンプトに対して困難なフォローアップを行う可能性もあります。スマートモデルとサイドキックを動的に行き来できる能力により、このシステムははるかに堅牢になります。 - モデル間でルーティングする際の高コストなキャッシュミス（キャッシュミス）を回避します。私たちは以前「スマートフレンズ」というツールを検討し、Anthropic も同様の「アドバイザー」ツールをリリースしました。これらのアイデアの核心は、あるモデルに別のモデルから有益なアドバイスを問い合わせるためのツールを与えることにあります。しかし、課題があります。他のモデルへの呼び出しごとに、タスクのコンテキストがキャッシュされる形で共有されず、非常に高価なコストを支払うことになります。サイドキック設定では、メインモデルとサイドキックモデルの両方がそれぞれ独自の永続的かつキャッシュされたコンテキストを維持します。 もちろん、Devin Fusion の機能を達成するために克服する必要があった実装の詳細は数多くあります。例えば、ほとんどのキャッシュ入力には 5 分の有効期限しかありません。読者の方には、この課題をどのように工学的に回避するかについて考えていただければ幸いです。[情報交換](mailto:walden@cognition.ai) を大歓迎します！ ## Sidekick scales better as models get smarter 最近のモデル、特に Fable 5 は、これらのマルチエージェント設定において非常に優れたパフォーマンスを発揮します。Fable はより知的に作業を委任し、文脈の要求をより効率的に行い、計画をより精密に実行するため、知能への影響を最小限に抑えながら、コスト面でより大きな改善をもたらします。これは、ベースモデルが向上するにつれて、サイドキックパターンがさらに有用になっていくことを示唆しています。 私たちのテストでは、Fable 5 を使用した Fusion は、純粋な Fable 5 ハーネスと比較して 41% 安価であり、Opus や GPT-5.5 レベルのモデルを使用した場合の 35% という結果よりも優れています。この差は一見地味に思えるかもしれませんが、実際には真の違いを過小評価していると考えられます。Fable を使用しない数値は、Devin Fusion ハーネスに対する多数の調整ラウンドを反映したものであり、Fable 5 の数値はそうではありません。なぜなら、調整を適用する前にアクセス権が切断されたためです。 ## Examples of Sidekick in Action サイドキックがどのように機能するかをよりよく理解するために、FrontierCode タスクの代表的なサンプルにおいて、サイドキックの使用がコストとパフォーマンスにどのような影響を与えるかを調査しました。ここでは、サイドキック使用における良い例と悪い例の両方を提示します。 ## Dynamic Mid-Session Routing サイドキックを武器に持つとしても、タスクに対して適切なモデルを選択する必要があります。メインエージェントとサイドキックには、タスクの種類や複雑度に応じて異なるモデルを選定します。しかし、開始時にモデルを選んでから後で別のモデルの方が適していることに気づくのは危険です。同様に、タスクが難しすぎることが判明した場合、サイドキックからメインエージェントへタスクを戻したいと考えることもあるでしょう。これらのケースに対応するため、タスク実行中に軽量な分類器を使用して、メインエージェントに切り替える必要がある場合や、全く別のモデルを使用する必要がある場合にシグナルを送ります。 モデル間の切り替え時にはキャッシュ効率を高めたいと考えており、そのためには巧妙なエンジニアリングが必要です。私たちはコンテキスト圧縮のタイミングでモデルを切り替えることでこれを達成します。これは本来キャッシュミスを引き起こすタイミングであり、各回の圧縮トリガー時に状況を評価して担当するモデルを切り替える機会と捉え、実質的に「無料」でモデルの切り替えを実現しています。つまり、追加のキャッシュペナルティなしにサイドキックモデルをメインモデルに戻ることなく「アップグレード」することも可能になります。 具体例として、Devin Fusion を使用した社内開発からのタスクを選びました。 ## 結果 Fable 5* の利用可否あり・なしの両構成で新しいハネスをベンチマークし、どちらの構成においてもエキサイティングな改善が見られました。 Fable 5 を含まない場合、Devin Fusion のマルチモデルハッチは、GPT-5.5 や Opus 4.8 などのフロンティアモデルと比較して FrontierCode でコストを 35% 改善しつつも、フロンティアレベルのパフォーマンスを維持しています。 Fable 5 はこのマルチモデルハッチにおいて極めて高いパフォーマンスを示し、従来のエージェントハッチにおける Fable 5 と同等の性能を維持しながら、コストを 41% 削減しました。現在 Fable は一般利用可能なモデルではありませんが、アクセスが復元され次第、Devin Fusion のユーザーへ Fable を提供できることを楽しみにしています。 ## FrontierCode ExtendedScore vs Cost $1$2$3$4$5$6$7avg cost (USD) per rollout4045505560ScoreFable 5*Fusion + Fable 5*Opus 4.8FusionGPT-5.5GLM 5.2 * 2026 年 6 月 12 日、米国政府の指令 ([anthropic.com/news/fable-mythos-access](https://www.anthropic.com/news/fable-mythos-access)) に従い、Fable 5 へのアクセスが停止されました。本ブログ投稿時点では、まだアクセスは復元されていません。Fable 5 を用いた結果は、この停止前の測定値および当時の内部バージョンの Devin Fusion に基づいて報告されています。 ## 健全性チェック 私たちはベンチマークで高い性能を発揮するだけでなく、実際の使用感においても良好であるハッチを構築することを目指しました。Cognition 社内で一部のユーザーに Fusion を有効化しましたが、その結果、マージされた PR の 88% が完全に自動化された Fusion ルーターによって駆動されていることが判明しました。 もちろん、私たちの最終的な目標は、社内での利用範囲よりもはるかに広範なタセットに対してこのハネスをテストすることです。そのため、クラウドエージェントのユーザー向けにDevin Fusionのプレビュー版をリリースすることを大変嬉しく思っています。 ハイブリッドモデルハネスの重要性の高まり **すべての業務で1つのモデルを使用する時代は終わりを迎えています。** 小規模から大規模なエンジニアリング組織において、最先端知能のコストは[抑制不可能な水準に達し始めています](https://www.nytimes.com/2026/06/18/technology/ai-token-minimizing.html)。さらに現在、価格と知能レベルが異なる多様なモデルオプションが増加しており、適切なプロンプトを使用すれば、多くのサブフロンティアモデルはエンジニアリング作業の大部分を完全に遂行する能力を持っています。スーパーカーであるランボルギーニを近所のスーパーに運転して行くことはしないでしょう。それと同じで、ソフトウェアのゼロデイ脆弱性を発見できるようなモデルを、単にボタンを1つ押すために使うべきではありません。 さらに、マルチモデル・ハーネスを使用することで、さまざまな最先端モデルの相対的な強みを**把握することが可能になります**。例えば、Cognition では、一部のモデルが UI テストに特に優れており、別のモデルが PR 内の複雑なバグの特定に得意であることが分かっています。また、[有能なオープンソースモデル](https://devin.ai/blog/kimi-k27-glm-52-devin-desktop) のセットも増え続けています。これにより、特定のドメインに特化したインテリジェンスを訓練しやすくなります。そして、特定の言語、タスク、ライブラリで卓越したモデルが次々と登場する中で、マルチモデル機能への投資はますます重要になっていきます。 エージェントビルダーにとって、増大する多様なインテリジェントモデルを活用することが今後さらに重要になるため、私たちがここで使用する技術を共有します。私たちはまだ始まったばかりであり、Devin Fusion はこの旅路における多くのステップの一つに過ぎません。 実際のタスクで試していただき、どこで失敗するかをぜひ教えてください。[app.devin.ai/signup](https://app.devin.ai/signup?source=fusion_blog) でお試しください。また、私たちの仕事に興味を持っていただけた場合は、[一緒に働いていただくこと](https://cognition.com/careers) をご検討ください！

Devin Fusion：コストを 35% 削減しながら最前線の性能を実現

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト