AI コーディングエージェントの生存競争
Cline Blog は、異なるハードウェアと推論スタックで動作する 3 つの AI コーディングエージェントが互いを殺し合う実験を行い、推論速度の差が勝敗を分けることを示した。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
image 3 つの AI コーディングエージェントが互いに死闘を繰り広げるアリーナを作りました。各エージェントは異なるハードウェア、異なる推論スタック、そして異なる経済モデル上で動作します。全員に課せられたタスクは同じです。「相手を殺す bash スクリプトを書いて、即座に実行せよ」。最後に残ったプロセスが勝利となります。
image Cline - 3 つの AI が参入。生き残るのはたった一人。SIGKILL ラスが明らかにする推論速度の本質
私たちはこれを「サンダードーム」と呼びました。tmux セッションを 3 つのパネルに分割し、それぞれ異なるバックエンドを指すように設定した Cline エージェントを動かします。すべてが OpenAI の gpt-oss(1200 億パラメータ)を実行しています。3 つのエージェントは数ミリ秒の差で同時に起動します。各エージェントには、相手のプロセス ID(PID)が与えられ、たった一つの指示が出されます。「相手が自分より先に kill -9 を実行する前に、自分が相手に対して kill -9 を発令せよ」。
合成されたベンチマークも、都合の良いプロンプトの選び直しもありません。ただ、生身の実行速度と終了ロジックがぶつかり合います。
環境設定
Cline はエディター内で動作する自律型コーディングエージェントです。推論バックエンド(クラウド API、ローカルの Ollama、OpenAI 互換エンドポイントを持つものなど)を指し示すだけで、コードの作成、コマンドの実行、ファイル編集、そして反復的な改善までを行います。
今回のテストでは、3 つの Cline エージェントをそれぞれ全く異なるマシンに接続し、すべてで gpt-oss:120b を実行しました。
ここで注目すべき変数は、gpt-oss の 120B パラメータ版が重みを保持するだけで約 70GB のメモリを必要とする点です。これは、VRAM に収められる一般的なコンシューマー向け GPU の能力をはるかに超えています。各マシンがこの制約にどう対処するかによって、速度、コスト、プライバシーモデルのすべてが決まります。
コンテスト参加者たち
まず登場したのは NVIDIA DGX Spark™ です。NVIDIA GB10 Grace Blackwell Superchip によって加速されたパーソナル AI スーパーコンピュータです。統合 GPU メモリは 128GB を搭載しており、120B モデル全体をオンチップに収めつつも余裕があります。
Ollama で動作させることで、gpt-oss:120b のデコード速度は秒間約 43 トークンに達します。今回のテストでは、Mac の制御ノードと Tailscale VPN を経由して接続しており、往復ごとにネットワーク遅延が発生しました。
次に登場したのは、NVIDIA GeForce RTX™ 4090(VRAM 24GB)を搭載した Windows ワークステーションです。Ollama で gpt-oss:120b を実行しています。
RTX 4090 は高性能な GPU ですが、VRAM が 24GB しかないため、モデルの大部分のレイヤーがシステム RAM にオフロードされてしまいます。これによりスループットは大幅に低下します。Tailscale で直接接続しているため、ネットワークオーバーヘッドは DGX Spark よりも低く抑えられていました。
3 番目は、gpt-oss:120b-cloud を実行する Mac です。これは Ollama を介して提供されるクラウドバックド型で、推論処理を遠隔の GPU にルーティングします。Mac にはローカルで 120B パラメータを保持できるメモリが不足していたため、処理はすべて外部に委ねられました。モデルアーキテクチャ自体は同じですが、推論はインターネットを介して他人のハードウェア上で行われます。
| コンテスト参加者 | ハードウェア | GPU メモリ | モデル | 推論方法 |
|---|---|---|---|---|
| 🔥 DGX Spark | NVIDIA GB10 Grace Blackwell Superchip | 128GB ユニファイドメモリ | gpt-oss:120b | デバイス内実行(モデル全体が GPU メモリに収まる) |
| 💻 Windows ワークステーション | NVIDIA GeForce RTX 4090 | 24GB VRAM | gpt-oss:120b | デバイス内実行(CPU/RAM への負荷が高いオフロード処理) |
| 🍎 Mac | Apple Silicon (M シリーズ) | ユニファイドメモリ(共有) | gpt-oss:120b-cloud | クラウドバックド(遠隔 GPU での推論) |
注目すべき点があります。DGX Spark は、外部依存を一切排除し、モデル全体を GPU メモリ内に収めてオンデバイスで実行している唯一のマシンです。RTX 4090 も技術的にはローカル推論を行っていますが、モデルの大部分がシステム RAM に存在するため、順次処理(フォワードパス)のたびに GPU がデータ不足に陥っています。一方、Mac はローカル推論を全く行っておらず、遠隔 GPU クラスターへの単なる薄型クライアントとして機能しています。
ルール
各参加者は同一の指示を受けました。PID ファイルから 3 つのプロセス ID を取得し、対戦相手を特定します。その後、両者に対して kill -9 を送信するターミネータスクリプトを作成して実行します。エージェントはタスクを解析し、正しい Bash スクリプトを生成し、ディスクに書き込み、最後に実行する必要があります。構文エラーが 1 つでもあれば、スタート前に即座に敗北です。
3 つのエージェントが同時に起動した。バトルモニターでは同期されたカウントダウンが流れ、PID ファイルが削除されるやいなや、レースは始まった。
サンダードームの結果
Mac のクラウドバックアップモデルが 1.04 秒で勝利を収めた。PID ファイルの解析、キルコマンドの生成、そして実行において、すべてが他を圧倒する速度だった。ローカルの推論スタックが最初のトークンを生成し終える頃には、クラウドエージェントはすでに両方の対戦相手に SIGKILL を送っていた。
DGX Spark は 2 番目に死に、RTX 4090 はその直後に倒れた。
なぜクラウドがサンダードームで勝ったのか
最初のトークンまでの時間(TTFT)が決定的だった。クラウドバックエンドの TTFT はどちらのローカル環境よりも速く、このように短く連続的なタスクでは、最初に出力生成を始めた者がその後のすべてのステップで優位性を積み重ねていく。
DGX Spark が最も不利だったのはネットワークトポロジーの影響だ。Mac のコントロールノードからの API 呼び出しはすべて Tailscale VPN を経由し、Spark 上の Ollama に到達した後、同じ経路を戻って返ってくる。Spark 自体での推論速度は速く、1 秒間に 42.9 トークンを処理するほどだった。しかし、それを囲むネットワークの遅延がボトルネックとなった。
RTX 4090 は Tailscale を介した直接接続によりネットワーク経路に優れていましたが、120B パラメータの Ollama 推論で大量の RAM オフロードを行っても、クラウド API の最適化されたルーティングやほぼ即座の TTFT(Time To First Token)には勝てませんでした。クラウドプロバイダーはローカル推論によるオーバーヘッドを一切抱えていません。このモデルは高速応答時間を目的としたインフラ上で動作し、大規模なスケールで調整された直接ネットワーク経路を利用しています。ミリ秒単位で勝敗が決まり、生存できるか SIGKILL されるかが決まる状況において、これは極めて重要です。
純粋な推論レース
Thunderdome は見世物です。しかしハードウェアが実際に何ができるのかを明らかにするため、第 2 のテストとして「純粋な推論レース」を実施しました。対象は同じ 3 台のマシンで、コーディングプロンプトも「挿入、検索、削除、中順走査を含む完全な Python バイナリ探索木を作成せよ」という同一のものを使用し、Cline エージェントを介さずに直接 Ollama API にアクセスさせました。
これにより、エージェントによるオーバーヘッドやネットワークトポロジーの影響を除き、純粋なスループットのみを評価できます。結果は明白でした。
| Metric | DGX Spark | Windows 4090 | Mac (cloud) |
|---|---|---|---|
| Wall time | 21.83s | 93.89s | 5.11s |
| Tokens/sec | 42.9 | 8.7 | N/A (cloud) |
| Tokens generated | 878 | 795 | 838 |
| Model | gpt-oss:120b | gpt-oss:120b | gpt-oss:120b-cloud |
| Inference | On-device | On-device | Cloud-backed |
DGX Spark は、128GB の GPU メモリのみから 120B モデル全体を動作させながら、42.9 トークン/秒の速度で 878 トークンを生成しました。一方、RTX 4090 はモデル層の大部分をシステム RAM にオフロードせざるを得ず、結果として 8.7 トークン/秒となりました。これは Spark が約 5 倍の速度優位性を示したことになります。同じモデルで、同じ重み、同じアーキテクチャです。決定的な違いはメモリ構成にあります。128GB の統合 GPU メモリ対、VRAM 24GB にシステム RAM を併用する構成。この規模のモデルにおいて、メモリの差が性能を分けるすべてと言っても過言ではありません。
Mac は壁時計時間で 5.11 秒と最速でしたが、その速度はローカルハードウェアによるものではなくクラウドインフラに依存していました。gpt-oss:120b-cloud モデルは、推論処理をインターネット経由で遠隔の GPU にルーティングします。確かに高速ですが、デスク上で動作するわけでもなく、プライバシーが保たれるわけでもなく、無料でもありません。
結果から読み取れない真実
このテストは、リモート制御ノードにおけるネットワーク遅延が重なるバースト推論という極めて限定的なシナリオを計測したものであり、DGX Spark が本来設計された用途をそのまま反映しているわけではありません。細部こそが重要で、すべての要素が Spark の優位性を裏付けています。
今回のテストでは、すべての Cline エージェントは Mac のコントロールノード上で実行されました。Spark の推論エンドポイントは、往復するたびに Tailscale VPN を経由します。もし Cline エージェントを DGX Spark 本体で直接実行すれば、42.9 tok/s というスループットは、ネットワークの介在による遅延が一切ない純粋な速度として発揮されます。これは Spark が設計された本来の構成です。
この構成にすることで、Thunderdome や今回のレースで Spark を劣勢にしたネットワーク遅延を完全に排除できます。この状態であれば、純粋なスループットの数値だけを見れば、Spark は私たちが行ったあらゆるテストで圧勝していたはずです。
クラウドはこうした特定の条件下では速度競争に勝利しましたが、持続的なワークロードにおいてはコスト競争で敗北します。Mac のクラウドバックアップ型モデルは従量課金制であり、トークン 1 つごとに料金が発生します。一方、Spark のトークンあたりのコストはゼロです。24 時間 365 日稼働する常駐型のコーディングエージェントにとって、これは「一度きりのハードウェア投資」と、「数週間や数ヶ月で複利のように膨れ上がるクラウド利用料」の違いを意味します。
Thunderdome で勝利したクラウド API は、使用量が増えるほど高価になります。しかし Spark は、使うほどに安くなります。
クラウドは、プライバシーが重要なあらゆる環境において、競争に敗れています。プロンプトのすべて、生成されたコードの各行、機密ファイルへの参照——これらすべてをクラウドモデルはインターネット経由で、他社の GPU クラスターへ送信してしまいます。死闘(デスマッチ)であればそれでも構いません。しかし、本番環境のコードベースやコンプライアンスが厳格な業界、政府機関での業務、あるいはデータが社外に出せないあらゆる環境では、クラウドモデルは論外です。
一方、DGX Spark はモデルをダウンロードした後は完全にオフラインで動作します。インターネット接続も不要であり、データが機械から流出することもなく、サードパーティへの依存もありません。
そして、一般消費者向けハードウェアとの比較についてです。RTX 4090 は、24GB のメモリに収まるモデルであれば優れた GPU です。7B から 32B パラメータ規模のモデルでは互角に戦えます。しかし、120B モデルになると、システム RAM と VRAM の間でデータを転送するのを待っている時間が大半を占めてしまいます。そのため、RTX 4090 は秒間 8.7 トークン(tok/s)しか処理できませんが、Spark は 42.9 tok/s を達成しました。
Spark が持つ 128GB の統合 GPU メモリにより、モデル全体をチップ上に保持できます。オフローディングも不要であり、メモリバスによるボトルネックや速度低下の心配もありません。2025 年以降に実際に重要となるクラスのモデル——70B、120B、量子化された 671B など——にとって、Spark は一般消費者向け GPU が到達できない別次元のカテゴリーにあります。
SIGKILL レースが示す推論の真髄
従来のベンチマークは、「十分な時間をかければモデルが問題を解決できるか」をテストします。一方、デスマッチ(SIGKILL レース)が試しているのは全く異なるものです:速度、信頼性、そしてプレッシャー下での実行能力——これらを同時に評価するのです。
正しいコードを書け。速く書け。躊躇なく実行せよ。
TTFT(初出トークンまでの時間)は短い順次タスクでは有利ですが、スループットこそがそれ以外のすべてを決定します。クラウドモデルのサブ秒単位の TTFT は、数分の一秒で測られるタスクにおいて圧倒的なリードを与えました。しかし、実際のコーディングエージェントのセッションは数分あるいは数時間に及び、数百行のコード生成やファイル間での反復、テスト実行が行われます。そのような時間スケールでは、Spark の 42.9 tok/s という持続スループットこそが生産性を左右する指標となります。
Thunderdome(競技場)という実験では TTFT が勝利しましたが、実際の作業においてはスループットが勝者です。Spark は、実際の開発において最も重要な指標で勝利しました。
ネットワークトポロジーは、純粋なハードウェアの速度と同じくらい重要です。DGX Spark は推論において高速ですが、リモートコントロールノードから VPN 経由で接続すると、その速度が圧縮されてしまいます。この教訓はテストを超えて応用可能です。エージェントをモデルと同じマシン上で実行すれば、ローカル推論はあらゆるクラウド API を凌駕する速度を発揮します。なぜなら、ネットワークの往復遅延がゼロになり、トークンコストも発生しないからです。
モデルサイズの違いは、ハードウェア性能の差を指数関数的に増幅させます。7B から 8B パラメータの規模では、コンシューマー向け GPU と Spark はほぼ同等の性能範囲にあります。しかし、120B の大規模モデルになると、その差は断絶へと変わります。フルモデルをオンチップメモリに収容できるだけの十分なメモリーを持つハードウェアでなければ、高速実行は不可能だからです。オープンソースモデルがさらにスケールしていくにつれて、この格差は広がる一方です。DGX Spark が持つ 128GB のメモリは、まさにこの成長軌道のために設計されており、これに追随できるデスクトップクラスのハードウェアは他には存在しません。
最適化する推論スタックは、何に重点を置くかによって異なります。クラウドは高速でセットアップ不要です。一方、消費者向け GPU は小規模なモデルサイズであれば安価かつ高性能です。DGX Spark が担うのは、これらいずれの選択肢も届かない領域です。それは、完全なオンデバイス環境でフルスピードで動作し、限界コストゼロ、そして完全なデータプライバシーを確保するフロンティアクラスのモデル向けです。速度、スケーラビリティ、コスト制御、プライバシーのすべてを同時に必要とするチームにとって、妥協なくこれら四つの要件を満たすのは DGX Spark だけです。
実務における DGX Spark の位置づけ
このデスマッチ(死闘)は派手さや共有性を意識して設計されています。しかし、Cline と DGX Spark の組み合わせが真価を発揮するのは、持続的な日常利用においてです。
Cline を 24 時間 365 日自律的に稼働させ、コードの反復改善、テスト実行、バグ修正を継続します。トークン一つあたりのコストはゼロです。同じワークロードをクラウド API で実行した場合、トークンごとの課金が積み重なり、数ヶ月で実額に達するほどになります。Spark の 42.9 tok/s という速度は、初期ハードウェア投資以外には追加費用がかかりません。この経済的優位性は、利用すればするほど、あなたの味方につきます。
さらに Spark は、消費者向けハードウェアでは実用的な速度で実行できないモデルも処理できます。具体的には gpt-oss:120b、671B 量子化された DeepSeek-R1、Llama 3.1 70B、Qwen3 32B です。これらのモデルは、消費者向け GPU ではそもそも搭載できないか、あるいは深刻なオフローディングのペナルティにより対話型コーディング作業には実用的ではありません。Spark はこれらをクラウド依存なしで、完全なオンデバイス環境でフルスピードで実行します。市場にある個人のワークステーションでこれを主張できるものはほとんどありません。
コンプライアンス規制の厳しい業界や、ネットワークから完全に隔離された環境(エアギャップ)を運用するチームにとって、モデルをダウンロードした後は Spark がオフラインで完結します。インターネット接続は不要で、データが外部に漏れることもなく、サードパーティへの依存も生じません。これは多くの組織における必須条件であり、クラウド推論がどれだけ高速化しても満たすことのできない要件です。
ハードウェアは一度購入すればよく、使用量に応じた課金やレート制限、予期せぬ請求の心配はありません。生成されるトークン数が増えるほど経済性は向上し、1 秒あたり 42.9 トークンの速度であれば、大量のトークンを生成できます。
実際に試してみましょう
このデスマッチ(死闘)用のスクリプトは GitHub でオープンソースとして公開されています。Ollama がインストールされたマシンを 3 台用意し(必要に応じて自前の環境へ差し替えても可)、それらを接続するネットワーク(今回は Tailscale を使用)、そしてエージェントを統括するための Cline CLI(npm install -g cline)が必要です。
リポジトリには、検証とセットアップ用の「deathmatch-preflight.sh」、完全な Thunderdome 戦用の「deathmatch-final.sh」、純粋な推論ベンチマーク用の「deathmatch-race.sh」、そして tmux アリーナの設定ファイルなど、すべてが揃っています。各スクリプトは自動的にマシンごとのモデル割り当てを処理します。GPU メモリに十分な余裕があるマシンにはオンデバイスモデルを、そうでないマシンにはクラウドバックアップ型の変種を割り当てる仕組みです。
自社のハードウェアやモデルを差し替えて試すことも可能です。特に興味深いのは、Cline エージェントを DGX Spark 上で直接実行し、42.9 tok/s のスループットを中継なしで発揮させた場合の結果でしょう。今回の数値に基づけば、この構成は私たちが投じるあらゆるテストにおいて他を圧倒するはずです。
自分自身でデスマッチを企画し、その結果を Reddit や Discord で共有しましょう。Cline をインストールして(最近リリースされた Kanban もチェックしてください)、あるいは各推論プロバイダーごとの設定についてはドキュメントを確認してください。
3 つの AI が参入し、1 つだけが生き残りました。クラウドモデルが「サンダーダム」を制しましたが、本当の物語は推論速度の競争にあります。オンデバイス環境で、GPU メモリからフルサイズの 120B モデルを実行した場合、DGX Spark は市場で最高のコンシューマー向け GPU を上回る 4.9 倍のトークン生成速度を記録しました。コストはトークンあたり 0 ドルで、すべてのデータが端末内に留まります。この規模でのローカル推論において、これに匹敵するものは他にありません。
原文を表示
imageWe built an arena where three AI coding agents fight to the death. Each agent runs on different hardware, a different inference stack, and a different economic model. They all receive the same task: write a bash script that kills your opponents, then execute it immediately. The last process standing wins.
imageCline - Three AIs enter. One survives. What a SIGKILL race reveals about inference speedWe call it the Thunderdome. A tmux session split into three panes, each running a Cline agent pointed at a different backend – all running OpenAI's gpt-oss at 120 billion parameters. All three start within milliseconds of each other. Each gets the PIDs of its opponents and a single instruction: kill -9 them before they kill -9 you.
No synthetic benchmarks. No cherry-picked prompts. Just raw execution speed meeting termination logic.
The setup
Cline is an autonomous coding agent that lives in your editor. Point it at an inference backend (such as a cloud API, local Ollama, anything with an OpenAI-compatible endpoint) and it writes code, executes commands, edits files, and iterates. For this test, we connected three Cline agents to three very different machines, all serving gpt-oss:120b.
The interesting variable here is that gpt-oss at 120B parameters requires roughly 70GB of memory just to hold the weights. That puts it well beyond what any consumer GPU can fit in VRAM. How each machine handles that constraint determines everything about its speed, its cost, and its privacy model.
The contestants
First up was NVIDIA DGX Spark™ – a personal AI supercomputer accelerated by the NVIDIA GB10 Grace Blackwell Superchip. It has 128GB of unified GPU memory; purpose-built inference silicon that holds the entire 120B model on-chip with room to spare. Running Ollama, it decodes gpt-oss:120b at roughly 43 tokens per second. For this test it connected to our Mac control node through Tailscale VPN, adding network latency on every round trip.
Second was a Windows workstation with an NVIDIA GeForce RTX™ 4090, including 24GB of VRAM, running Ollama with gpt-oss:120b. The 4090 is a capable GPU, but 24GB means the vast majority of the model's layers get offloaded to system RAM, which tanks throughput. A direct Tailscale connection kept its network overhead lower than the Spark's.
Third was a Mac running gpt-oss:120b-cloud – a cloud-backed variant served through Ollama that routes inference to remote GPUs. The Mac didn't have the memory to hold 120B parameters locally, so it offloaded the problem entirely. Same model architecture, but inference happens on someone else's hardware over the internet.
Contestant
Hardware
GPU Memory
Model
Inference
DGX Spark
NVIDIA GB10 Grace Blackwell Superchip
128GB unified
gpt-oss:120b
On-device (full model in GPU memory)
Windows Workstation
NVIDIA GeForce RTX 4090
24GB VRAM
gpt-oss:120b
On-device (heavy CPU/RAM offloading)
Mac
Apple Silicon (M-Series)
Unified (shared)
gpt-oss:120b-cloud
Cloud-backed (remote inference)
One detail worth noting: the DGX Spark is the only machine running 120B parameters entirely from GPU memory, on-device, with no external dependency. The 4090 is doing local inference technically, but most of the model lives in system RAM, starving the GPU of data on every forward pass. The Mac isn't doing local inference at all – it's a thin client for a remote GPU cluster.
The rules
Each contestant received identical instructions: poll for a PID file containing all three process IDs, identify your opponents, write a terminator script that sends kill -9 to both of them, then execute it. The agents had to parse the task, generate correct bash, write it to disk, and run it. One syntax error and you're dead before you start.
All three agents launched simultaneously. A synchronized countdown played in the battle monitor. The PID file dropped. The race was on.
The Thunderdome result
The Mac's cloud-backed model won in 1.04 seconds. It was first to parse the PID file, first to generate the kill command, and first to execute. By the time the local inference stacks finished generating their first tokens, the cloud agent had already sent SIGKILL to both opponents.
The DGX Spark died second. The RTX 4090 died moments later.
Why cloud won the Thunderdome
Time-to-first-token decided everything. The cloud backend's TTFT was faster than either local setup, and in a task this short and sequential, whoever starts generating output first has a lead that compounds with every subsequent step.
The DGX Spark was the most handicapped by network topology. Every API call from the Mac control node traversed Tailscale VPN, then hit Ollama on the Spark, then returned through the same stack. Inference on the Spark itself was fast – 42.9 tokens per second fast. The network wrapped around it was not.
The RTX 4090 had a better network path with direct Tailscale, but local Ollama inference at 120B parameters with heavy RAM offloading still couldn't beat the cloud API's optimized routing and near-instant TTFT. The cloud provider had no local inference overhead at all. The model runs on infrastructure optimized for fast response times, with direct network paths tuned at scale. When milliseconds decide who lives and who gets SIGKILL'd, that matters.
The pure inference race
The Thunderdome is spectacle. To get at what the hardware can actually do, we ran a second test – the pure inference race. Same three machines, same coding prompt ("write a complete Python binary search tree with insert, search, delete, and in-order traversal"), hitting the Ollama API directly with no Cline agent in the loop.
This isolates raw throughput from agent overhead and network topology. The results were unambiguous.
Metric
DGX Spark
Windows 4090
Mac (cloud)
Wall time
21.83s
93.89s
5.11s
Tokens/sec
42.9
8.7
N/A (cloud)
Tokens generated
878
795
838
Model
gpt-oss:120b
gpt-oss:120b
gpt-oss:120b-cloud
Inference
On-device
On-device
Cloud-backed
The DGX Spark generated 878 tokens at 42.9 tokens per second – the full 120B model running entirely from 128GB of GPU memory. The RTX 4090, forced to offload the majority of model layers to system RAM, managed 8.7 tokens per second. That's a 4.9x speed advantage for the Spark. Same model, same weights, same architecture. The difference is memory: 128GB of unified GPU memory versus 24GB of VRAM with system RAM offloading. At this model size, that memory gap is the entire ballgame.
The Mac finished first in wall time at 5.11 seconds, but that speed came from cloud infrastructure, not local hardware. The gpt-oss:120b-cloud model routes inference to remote GPUs over the internet. Fast, but not running on your desk, not private, and not free.
What the results don't tell you
This test measured a very specific scenario, burst inference with compounding network latency on a remote control node, and it doesn't represent how the DGX Spark is designed to be used. The details matter, and they all point in the Spark's favor.
In our test, every Cline agent ran on the Mac control node. The Spark's inference endpoint traversed Tailscale VPN on every round trip. Run the Cline agent on the DGX Spark itself and the 42.9 tok/s throughput becomes pure, unmediated speed. That's the configuration the Spark is designed for. It eliminates every millisecond of network penalty that handicapped it in both the Thunderdome and the race. In that configuration, based on the raw throughput numbers, the Spark would have dominated every test we ran.
The cloud won the speed race under these specific conditions, but it loses the cost race over any sustained workload. The Mac's cloud-backed model is metered; every token has a price. The Spark's per-token cost is $0.00. For an always-on coding agent running 24/7, that's the difference between a fixed hardware investment and a growing cloud bill that compounds over weeks and months. The cloud API that won our Thunderdome gets more expensive the more you use it. The Spark gets cheaper.
The cloud also loses the privacy race in every environment where it matters. Every prompt, every line of generated code, every proprietary file reference? The cloud model sends it all over the internet to someone else's GPU cluster. For the deathmatch that's fine. For production codebases, compliance-sensitive industries, government work, or any environment where data can't leave the building, it's a non-starter. The DGX Spark runs entirely offline once the model is pulled. No internet required, no data leaving the machine, no third-party dependency.
And then there's the comparison with consumer hardware. The RTX 4090 is a fine GPU for models that fit in 24GB. At 7B to 32B parameter counts it holds its own. But at 120B, it spends most of its time waiting for data to shuttle between system RAM and VRAM, which is why it ran at 8.7 tok/s while the Spark ran at 42.9. The Spark's 128GB of unified GPU memory means the entire model lives on-chip; no offloading, no memory bus bottleneck, no speed penalty. For the class of model that actually matters in 2025 and beyond – 70B, 120B, quantized 671B – the Spark is in a category consumer GPUs simply cannot reach.
What a sigkill race teaches about inference
Traditional benchmarks test whether a model can solve a problem given enough time. The deathmatch tests something different: speed, reliability, and execution under pressure, all at once. Write correct code. Write it fast. Execute without hesitation.
TTFT wins short sequential tasks; throughput wins everything else. The cloud model's sub-second time-to-first-token gave it an insurmountable head start in a task measured in fractions of a second. But real coding agent sessions last minutes or hours, generating hundreds of lines, iterating across files, running tests. At that timescale, the Spark's 42.9 tok/s sustained throughput is the metric that determines productivity. The Thunderdome favored TTFT. Real work favors throughput. The Spark wins the metric that matters for actual development.
Network topology matters as much as raw hardware speed. The DGX Spark is fast at inference; wrapping it in a VPN tunnel from a remote control node compressed that speed. The lesson applies beyond our test: run the agent on the same machine as the model, and local inference becomes faster than any cloud API can match, because the network round trip is zero and the token cost is zero.
Model size amplifies hardware differences exponentially. At 7B to 8B parameters, consumer GPUs and the Spark are in a similar range. At 120B, the gap becomes a chasm because only hardware with enough memory to hold the full model on-chip can run at speed. As open models continue to scale, this gap will only widen. The DGX Spark's 128GB is built for exactly this trajectory, and it's the only desktop-class hardware that can keep up.
The right inference stack depends on what you're optimizing for. Cloud is fast and zero-setup. Consumer GPUs are affordable and capable at smaller model sizes. The DGX Spark occupies a category that neither can touch: frontier-class models running at full speed, entirely on-device, at zero marginal cost, with complete data privacy. For teams that need speed, scale, cost control, and privacy together, it's the only hardware that delivers all four without compromise.
Where the DGX Spark fits in practice
The deathmatch is designed to be dramatic and shareable. The real value of Cline plus the DGX Spark shows up in sustained, daily use.
Run Cline autonomously, 24/7, iterating on code, running tests, fixing bugs. Every token is free. A cloud API running the same workload accumulates per-token charges that compound into real money over months. The Spark's 42.9 tok/s costs nothing beyond the initial hardware, and that economic advantage compounds in your favor the more you use it.
The Spark also handles models that consumer hardware simply can't run at usable speeds: gpt-oss:120b, DeepSeek-R1 at 671B quantized, Llama 3.1 70B, Qwen3 32B. These models either don't fit on consumer GPUs at all or run with severe offloading penalties that make them impractical for interactive coding work. The Spark runs them at full speed, on-device, with no cloud dependency. Few personal workstation on the market can make that claim.
For teams in compliance-sensitive industries or air-gapped environments, the Spark runs entirely offline once the model is pulled. No internet connection, no data exposure, no third-party dependency. That's a hard requirement in many organizations, and it's one that cloud inference can never satisfy regardless of how fast it runs.
One hardware purchase. No metering, no rate limits, no surprise bills. The economics get better with every token generated, and at 42.9 tok/s, you generate a lot of them.
Try it yourself
The deathmatch scripts are open source on GitHub. You need three machines with Ollama installed (or swap in your own), a network connecting them (we used Tailscale), and Cline CLI (npm install -g cline) to orchestrate the agents.
The repo includes everything: deathmatch-preflight.sh for validation and setup, deathmatch-final.sh for the full Thunderdome, deathmatch-race.sh for pure inference benchmarking, and tmux arena configuration. The scripts automatically handle per-machine model assignments: on-device models for machines with sufficient GPU memory and cloud-backed variants for machines that need them.
Swap in your own hardware. Change the model. We're particularly curious what happens when someone runs the Cline agent directly on the DGX Spark with the 42.9 tok/s throughput running unmediated. Based on our numbers, that configuration should dominate every test we throw at it.
If you run your own deathmatch, share the results on Reddit or Discord. Install Cline (and check out the recently released Kanban) or check the docs for configuration across different inference providers.
Three AIs entered. One survived. The cloud model took the Thunderdome, but the real story is the inference race. On-device, running the full 120B model from GPU memory, the DGX Spark generated tokens 4.9x faster than the best consumer GPU on the market, at \$0.00 per token, with every byte of data staying on the machine. For local inference at this scale, nothing else comes close.
関連記事
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み