Together AI、GLM-5.3 と Flash の DeepSWE ベンチ比較結果を公開

GLM-5.3 は初回で勝利し、Flash は 4 回目にはほぼ同等の性能を達成しながらコストは 17 分の 1。さらにカスケード（順次呼び出し）方式なら両者を上回り、タスクあたり$1.70 で 80.9% の成功率を実現します。

重要なポイント

まずは GLM-5.3 Flash を実行し、テストで回答が却下された場合にのみ、フルバージョンの GLM-5.3 に昇格させる。このカスケード方式なら、DeepSWE のタスクを 80.9% 解決でき、1 タスクあたりのコストは$1.70 です。一方、GLM-5.3 を単独で使う場合は成功率が 69.0% でコストは$3.99。Flash と比較して 12 ポイント高く、コストは 57% 低いです。もし一つのモデルだけ選ぶなら Flash がおすすめです。初回では 5.6 ポイント劣りますが、4 回目には差が 2.6 ポイントに縮まります。これは、知識蒸留によって失われたのは「信頼性」であり、リトライこそがその信頼性を回復させるからです。

• 性能差は主に初回の試行に現れます。pass@1 では 69.0% vs 63.4%（差 4 ポイント）、pass@2 でも同様の差があり、pass@4 では 87.6% vs 85.0% と 2.6 ポイントの差になります。
• コスト差は 17 倍です。GLM-5.3 はロールアウトあたり$3.99 かかるのに対し、Flash はわずか$0.24 です。同じ$100 を使った場合、Flash では 264 タスクを解決できる一方、フルモデルでは 17 タスクしか解決できません。
• 能力は維持されつつも、一貫性は低下しました。フルモデルが 99 タスクを解決したうち、Flash も 93 タスクを解決しています。また、親モデルで不安定だった 15 タスクを Flash は安定化させ、親モデルが全く突破できなかった 3 タスクにも成功しています。
• ただし、Flash は「努力」を勝利に変換するのが苦手です。不安定なタスクにおいて、フルモデルでは長い実行時間が 61% の確率で成功に繋がりますが、Flash ではその確率が 46% と、コイン投げレベル（50%）を下回ります。
• 唯一の明確な後退は「慎重さ」です。すでに合格しているベースラインテストを、Flash はロールアウトの 6.9% で失敗させます（フルモデルでは 4.4%）。そのため、回帰テストでゲート管理を行う必要があります。

Together AI が提供する「GLM-5.3」と「GLM-5.3 Flash」は、同じファミリーに属する2つのモデルです。GLM-5.3 はフルサイズのオープンウェイトモデルであり、GLM-5.3 Flash はその価格が約17分の1という、軽量な姉妹モデルです。

Flash バージョンの最大の疑問点は、「性能をどれほど犠牲にしているのか」ですが、DeepSWE ベンチマークの結果は、 headline 上の pass@1 の差ほど大きなギャップではありません。これは Flash が単なる縮小版ではないからです。GLM-5.3 は能力を再配分しており、headline で指摘されるような重要な機能を失っているわけではありません。

DeepSWE · 概要

GLM 5.3 と GLM 5.3 Flash の主要数値

DeepSWE の 113 タスクに対して、GLM-5.3（Max）と GLM-5.3 Flash（Max）を比較しました。各構成で試行回数は 4 回ずつ、最大限の努力を払って実行し、合計 900 回のロールアウトを行いました。公開された試行ごとの記録に基づくと、フルモデルが 452 回、Flash モデルが 448 回の成功を収めています。

以下では、この一連の実験に基づく完全な比較結果と、蒸留プロセスの詳細分析をまとめています。掲載されているすべての数値は今回の実行データから得られたものであり、他の公開されている GLM-5.3 と GLM-5.3 Flash のスコアカードとは異なる可能性があります。

DeepSWE のスコアボード：pass@1 と pass@k

単発の試行（single shot）では、フルモデルが Flash モデルを 5.6 ポイント上回っています。成功率はそれぞれ 69.0% 対 63.4% です。この差は「一発勝負」の結果に起因するものであり、pass@2 では 4 ポイントまで縮小し、pass@4 ではさらに 2.6 ポイント（87.6% 対 85.0%）となります。

蒸留によって Flash モデルが失ったのは、単発での完成度よりもむしろ上限性能への影響でした。しかし、best-of-k のワークロードにおいて実質的な品質低下は 3 ポイント未満に抑えられており、そのコストはフルモデルの約 17 分の 1 です。

5.6 ポイントから 2.6 ポイントへと差が縮小した事実は、変化した本質を捉える最初の示唆となります。この変化の詳細については、次のセクションで解説します。

蒸留が実際に失ったもの：能力ではなく一貫性

各モデルについて、すべてのタスクを「壁（0 回/4 回の成功）」、「不安定（一部の試行で成功）」、「堅牢（全試行で成功）」のいずれかに分類し、フルモデルで成功したタスクが Flash モデルではどうなったかを追跡します。

右上のグラフは、48 のタスクのうち 4 つがフルモデルで解決されたものについて示しています。Flash モデルでもこれら 4 つすべてが解決可能であり、一つも不可能なものはありません。そのうち半分は完全に安定して動作し、残りの半分では一貫性のみが低下しました。

カバレッジ保持率（Coverage retention）も同様の結果を示しています。フルモデルで少なくとも一度は解決された 99 のタスクのうち、Flash モデルでも 93（94%）を解決できています。蒸留によってこれらのタスクを解決する能力が失われたわけではありません。失われたのは信頼性です。

一貫性の低下は、能力の喪失とは異なり、リトライによって回復可能なものです。そのため、pass@1 のギャップに比べて pass@4 のギャップは非常に小さくなっています。

コスト比較：GLM-5.3 と GLM-5.3 Flash の価格と速度

Flash モデルは 1 ロールアウトあたり $0.24、フルモデルは $3.99 です。Flash はフルモデルの約 17 分の 1 のコストで済み、$100 あたりで Flash は 264 件の解決が可能ですが、フルモデルではわずか 17 件です。

通常、フラッシュ版では「トークンあたりの速度が遅くなる」というトレードオフが発生しますが、このケースでは見られません。Flash モデルの方が速く、平均処理時間はフルモデルの 35 分に対して 26 分です。これは妥協によるものではなく、実行ステップ数は同じで、Flash が 123 ステップ、フルモデルが 125 ステップです。

速度差はすべて「1 ステップあたりのレイテンシ」の違いによるものです。Flash は 1 ステップあたり 12.5 秒、フルモデルは 17.0 秒かかります。これはより小さなモデルが、より狭い作業ウィンドウ（平均最大コンテキストサイズ：Flash が 145k、フルモデルが 155k）で各ステップを約 27% 高速に実行していることを意味します。

コストは安く、処理は速く、思考の長さは同じです。

一貫性が失われた地点：蒸留は端から侵食する

フルモデルがどのタスクをどれほど確実に解決できたかによってグループ分けし、各グループにおける Flash モデルの平均パス率を測定しました。

その結果、明確な単調勾配が確認できました。フルモデルがタスクをより確実に処理できるほど、Flash モデルもその能力を多く保持しているのです。蒸留は能力分布の端から削り落とし、コア部分はそのまま残します。これは全体の性能プロファイルを均一に下げるのではなく、モデルができることとできないことの境界線を明確にする作用をもたらしました。

GLM-5.3 Flash は、困難な試行を勝利に導く能力を失った

これは不安定さのメカニズムであり、本研究で最も驚くべき結果です。不安定なタスクにおいて、より長い実行時間が勝つ傾向があるかどうかを問うています。同じタスク、同じ難易度ですが、実行回数だけが異なります。

• フル GLM-5.3: 不安定なタスクの 61% で、成功した実行は失敗した実行よりも多くのステップ数を要しました。フルモデルは思考によって解決策にたどり着くことができ、努力が成功へと転換されます。
• GLM-5.3 Flash: 46% と、コイン投げの基準線（50%）を下回りました。不安定なタスクが成功するかどうかは、Flash モデルの実行時間が長い短いかとは本質的に無関係です。

知識蒸留は、モデルの1ステップあたりの性能が少し低下しただけではありません。むしろ、モデルが「追加の努力」を活用する能力そのものを奪ってしまいました。これは不安定な探索によるものでもありません。Flash モデルのタスク内でのステップ変動は、フルモデルよりもわずかに低く、変動係数は 0.12 です（フルモデルは 0.14）。Flash は毎回ほぼ同じ長さで実行し、成功することもしばしばあれば失敗することもあります。しかし、フルモデルが困難な試行を解決へと導くための「探索能力」こそが失われたのです。

ドメインとプログラミング言語ごとの優劣

損失だけが全てではありません。Flash モデルは特定の領域で能力を回復しています。

• フルモデルで不安定だったタスクのうち 15 件が、Flash では確実なものとなりました。
• フルモデルでは全く突破できなかった 3 つのタスクを、Flash は解決しました。
• ドメイン別に見ると、一律に劣っているわけではありません。並行処理と耐久性は +8（62 から 70）、Python は +5（66 から 71）、データモデリングは +4（79 から 83）、プロトコル関連は +3（44 から 48）と改善されています。一方で、JavaScript、クエリ、設定、ステートフルなリアクション性、Rust、言語内部機能については譲歩しています。

8 つのドメインにおける評価では、フルモデルは 5 つ、Flash モデルは 3 つを達成しました。言語別では、フルモデルが Go、TypeScript、JavaScript、Rust の 4 言語に対応するのに対し、Flash モデルは Python のみです。推論や JavaScript を多用するタスクではフルモデルが優位ですが、システム関連や Python の処理では Flash モデルが勝利します。Flash モデルの JavaScript 対応数が孤立して見ると驚異的に思えますが、これは 5 つのタスクサンプルに基づくものであり、単一のタスクに強く依存しているため、確定した事実というよりは方向性を示す指標として捉えるべきです。より広い視点で見れば、知識蒸留は単に性能を低下させたのではなく、モデルのプロファイルそのものを変容させたと解釈できます。

精度と網羅性のトレードオフ

カバレッジと信頼性の平面において、フルモデルは右上に位置しています。具体的には、カバレッジ 87.6% に信頼性 78.8% を達成しており、Flash モデルのカバレッジ 85.0% と信頼性 74.7% を上回ります。タスク解決数では、フルモデルが 48 タスクを成功させるのに対し、Flash モデルは 39 です。また、壁にぶつかる（失敗する）ケースも、フルモデルが 14 件であるのに対し Flash モデルは 17 件と多くなっています。

知識蒸留によって両軸の数値はわずかに低下しましたが、平均値の低下以上に、Flash モデルの試行ごとのばらつき（スコアボード上のランダム性）が顕著に増大しました。パス率@1 の標準偏差は 4.1 で、フルモデルの 2.7 を上回っています。これは集計データから読み取れる一貫性の低下という事実と一致しています。

唯一の重大な後退：副作用の増加

Flash モデルが有利に働くのは精度と一貫性だけではありません。知識蒸留（distillation）によって、モデルは「副作用」に対する注意深さが著しく低下しました。

これは、「エラーが発生しなかったロールアウトのうち、少なくとも 1 つの既存の合格テストを破綻させてしまう割合」として測定されます。

• GLM-5.3: 4.4%
• GLM-5.3 Flash: 6.9%

Flash モデルは動作時に、既に正常に機能しているコードを壊す可能性が 50% 以上高くなります。これは単にコストが安いだけでなく、性能面で劣る唯一の軸です。この弱点に対する対策として、レビューなしで Flash の差分を適用する前に完全な回帰テスト（regression suite）を実行するガードレールを導入すべきでしょう。

両モデル間のルーティング：同族カスケード

Flash モデルが犠牲にする品質は小さく、かつ回復可能である一方、節約できるコストは大きいため、「同族カスケード」構成は明確なコスト削減策となります。

まず Flash モデルを実行し、検証器（verifier）が回答を拒否した場合のみ、フルモデルへエスカレーションします。この構成では、1 タスクあたり 80.9% の成功率を達成でき、コストは 1.70 ドルです。これはフルモデル単体でのシングルショット（single-shot）の Pass@1 69.0% を上回る性能でありながら、価格は半額未満です。

両者のタスク間相関は 0.61 で、両モデルを組み合わせることで 113 タスク中 102 タスク（90.3%）をカバーできます。つまり、低コストの第一段階でキューの大半が処理され、フルモデルは困難な残りタスクのみを受け持ち、そこで独立した第 2 の試行が行われる仕組みです。

何を意味するか

GLM-5.3 を GLM-5.3 Flash へ蒸留（ディストillation）したことは、乱暴なハンマーではなく精密なメスです。この手法は能力を維持しつつ、一貫性とのトレードオフを行いました。完全版モデルで不可能だったタスクがゼロになった一方で、pass@4 のスコア差は 5.6 ポイントではなく 2.6 ポイントに抑えられています。

しかし、困難な試行から勝利へと導く「検索能力」は失われました。その結果、努力に対するリターン（effort payoff）は 61% から 46% に低下し、これがモデルの不安定さ（フラッキネス）の真の原因です。モデルのプロファイルが単純に縮小されたのではなく、並行処理能力、Python、データモデリング、プロトコル関連のタスクでは向上する一方で、JavaScript やクエリ関連の作業は譲歩しました。

特に懸念されるのは JavaScript 性能の低下ですが、これは 5 つのタスクサンプルにおける単一タスクの影響に過ぎません。唯一明白な後退は「慎重さ」の欠如で、ベースラインを破る率が 4.4% から 6.9% に増加しています。

経済的な側面が他の要素を上回ります。1 回のロールアウトあたりのコストは 17 分の 1、100 ドルあたりで 264 件の解決が可能となり、処理時間も短縮されます。これらはベスト・オブ・K（best-of-k）の品質を 3 ポイント未満しか損なわないという条件付きです。

コストやスループットがボトルネックとなる作業、および best-of-k パイプラインでは GLM-5.3 Flash をデフォルトとして使用すべきです。一方、JavaScript やクエリ処理が中心のタスク、あるいは初回実行での信頼性が求められる場合は、完全版の GLM-5.3 を選択してください。

Flash モデルの使用には回帰テスト（regression run）によるゲート管理を推奨します。また、完全版モデルを実行する際は、その前に Flash モデルを配置することで、請求額を半減以上削減することが可能です。

データ表：GLM-5.3 vs. GLM-5.3 Flash、完全結果

DeepSWE · Data Table

指標ごとの完全比較

DeepSWE v1.1 · 各設定で最大限の努力を払った 113 タスク × 4 試行 · Flash のコストは現在のタスクあたり平均$0.24 を使用

手法と注意点

• データ: DeepSWE v1.1 エクスポート。各設定で 113 タスク、それぞれ 4 回の試行を実施し、両モデルとも最大限の努力を払いました。GLM-5.3 は 452 回の試行（インフラエラーが 1 件）、GLM-5.3 Flash は 452 回中 448 回（インフラエラーなし）で、一部のタスクでは Flash が 3 回の試行となりました。カテゴリと合格割合は、各タスクの実際の試行回数に基づいています。
• カテゴリ定義: 「wall」は 0 回合格、「solid」は全試行が合格、「flaky」は一部のみが合格したタスクです。「Coverage（網羅性）」は少なくとも一度でも解決した場合を指します。Retention bins は、フルモデルの各タスクごとの結果に基づいてグループ化されています。
• 努力対効果: 各 flaky タスク内では、合格試行と不合格試行の平均エージェントステップ数を比較し、合格試行が不合格試行を上回った flaky タスクの割合として報告します。これによりタスク難易度の影響を制御しています。Behavioral variance（行動変動）は、タスク内のステップ数の変動係数です。
• 副作用: エラーのないロールアウトのうち、ベースラインテストが破損しているものの割合（p2p など）

よくある質問

GLM-5.3 Flash は GLM-5.3 と同等の性能ですか？

非常に近く、試行回数を増やすほど差は縮まります。GLM-5.3 が pass@1 で 5.6 ポイントリード（69.0% vs 63.4%）していますが、pass@4 では差が 2.6 ポイントに縮小します（87.6% vs 85.0%）。GLM-5.3 が 48 タスクすべてで 4 回中 4 回成功させたケースでも、Flash で不可能になったタスクはありません。つまり、能力の低下ではなく信頼性の差です。

GLM-5.3 Flash は GLM-5.3 よりどれくらい安価なのか？

今回のテストでは、GLM-5.3 Flash の 1 ランあたりのコストは 0.24 ドルでした。一方、最大限の性能を発揮させた GLM-5.3 は 3.99 ドルかかりました。これは約 17 倍の差です。

解決したタスク数で換算すると、GLM-5.3 Flash は 100 ドルあたり 264 タスクを解決しました。これに対し、フルモデルである GLM-5.3 は 17 タスクのみでした。つまり、ドルあたりの生産性は約 16 倍も高いのです。

コーディングにおいては、GLM-5.3 と GLM-5.3 Flash のどちらが優れているか？

これは作業内容によります。

GLM-5.3 は 5 つの言語のうち 4 つ（Go, TypeScript, JavaScript, Rust）と、8 つのドメインのうち 5 つで高いスコアを記録しました。特に最初の試行での信頼性や、推論が複雑なタスクにおいては、こちらの方が強力な選択肢です。

一方、GLM-5.3 Flash は並列処理能力と耐久性（70 vs 62）、Python（71 vs 66）、データモデリング（83 vs 79）、そしてプロトコル関連の作業（48 vs 44）において優位に立っています。

GLM-5.3 Flash と GLM-5.3 の間で使い分けるべきか？

結果を検証できるのであれば、ぜひ併用すべきです。

まず GLM-5.3 Flash を実行し、テストスイートで出力が拒否された場合にのみ GLM-5.3 にエスカレーションする戦略をとると、タスクあたりのコストは 1.70 ドルで達成率は 80.9% に達します。これは、GLM-5.3 単体（コスト 3.99 ドル、達成率 69.0%）を半額以下の費用で上回る結果です。

両モデルの相関は 0.61 で、組み合わせることで 113 タスクのうち 102 タスクをカバーできるようになります。

GLM-5.3 Flash の出力を検閲なしにそのまま採用しても安全か？

回帰テスト（リグレッションテスト）のゲートを設ける必要があります。

GLM-5.3 Flash は、エラーが発生しなかったロールアウトのうち 6.9% で、すでに合格していたベースラインテストを少なくとも 1 つ破綻させます。これに対し GLM-5.3 は 4.4% です。つまり、既存のコードを壊すリスクは GLM-5.3 よりも 50% 以上高いと言えます。

ただし、差分を適用する前に完全な回帰テストを実行すれば、この差のほとんどは解消されます。

DeepSWE における pass@k とは

pass@k は、タスクに対して k 回試行したうち、少なくとも 1 回が非公開のテストスイートをパスするかどうかを測定する指標です。pass@1 は初回の試行で正解した場合に評価が高くなりますが、k の値が大きくなるほど、複数回の試行を通じて最終的に解決策に到達できるモデルに対して高い評価が与えられます。GLM-5.3 Flash の性能差は k が増加するにつれて縮小するため、再試行を許容するパイプラインに適しています。