読み込み中…
読み込み中…
CloudflareのSunil Pai氏は、大規模なAPIサーフェスを扱う際、従来のJSONベースのツール呼び出し(MCP)がコンテキスト爆発と低速なラウンドトリップを引き起こす問題があると指摘する。彼らは「Code Mode」を導入し、LLMがJavaScriptなどのコードを直接生成して実行する仕組みにより、トークン使用量を劇的に削減し、高速な処理を実現した。このアプローチは単なる最適化ではなく、「ハル(Harness)」と呼ばれる安全なサンドボックス内でLLMがシステム状態を直接操作する新しいソフトウェアアーキテクチャを示唆しており、開発者と非技術者の境界を曖昧にする可能性がある。
従来の「プロンプトエンジニアリング」や「ツール呼び出し」の議論を超え、LLMを「実行エンジン」として捉える視点を提供する。Cloudflareの実際の成功事例に基づいているため、実装可能性が高く、AIインフラエンジニアリングに関わる全ての開発者に必見の内容である。
数百のツールをJSONで呼び出す従来のMCPはトークン爆発と低速になるため、LLMにコード生成を依頼するCode Modeへ移行した。
2,600以上のAPIエンドポイントを「search」と「execute」の2つのツールに集約し、トークン使用量を99.9%削減して高速化した。
コード生成を安全に実行するためのサンドボックス(ハル)が必要であり、能力ベースのセキュリティとエフェメラルな実行が重要となる。
LLMがアプリを生成するだけでなく、既存のシステム状態(状態マシン)に「没入」して操作する新パラダイムが生み出されている。
次世代のユーザーはAIエージェントであり、彼ら向けにMarkdownドキュメントや型定義、エラーメッセージなどの開発者体験(DX)を設計する必要がある。
この提言は、AIエージェントが単なるチャットボットを超え、実際のシステム操作を行うための基盤となるアーキテクチャ転換を示唆している。企業は従来のUI中心の設計から、エージェントが消費するAPI仕様やセキュリティポリシー(能力ベースのセキュリティ)への投資へシフトせざるを得なくなる。これにより、開発者向けツールとエンドユーザー向けアプリの境界が溶解し、パーソナライズされた動的アプリケーションの生成が一般化する可能性がある。
大規模な API を扱う AI エージェントにおいて、従来の JSON ベースのツール呼び出し(MCP)は「コンテキスト爆発」と「低速な往復処理」という致命的な欠陥を抱えていました。Cloudflare の Sunil Pai 氏は、この課題を解決する新たなパラダイムとして「Code Mode」を提唱します。これは LLM に JSON を生成させるのではなく、JavaScript などのコードを直接生成・実行させるアプローチです。単なるパフォーマンスの最適化を超え、AI エージェントがシステム状態に「没入」し、開発者と非技術者の境界を溶解させる新しいソフトウェアアーキテクチャの幕開けを告げるものです。
従来の AI アプリケーション構築では、数百ものツール(Google サービス、Jira、Wiki など)を JSON 形式で呼び出す「MCP(Model Context Protocol)」が標準的な手法でした。しかし、Sunil Pai 氏はこのアプローチに重大な問題があると言います。
「ツールが数個だけなら問題ありません。しかし、数百のツールをコンテキストに詰め込み始めると、モデルは埋め尽くされ、壊れ始めてしまいます。」
MCP の最大の問題点は、各 API 呼び出しごとにモデルとシステムの間で往復(ラウンドトリップ)を行う必要がある点です。複雑なタスクを実行するには、数十回のやり取りが必要になり、処理速度が著しく低下します。さらに、膨大な数のツール定義をプロンプトに含める必要があり、トークン使用量が爆発的に増加する「コンテキスト爆発」を引き起こしました。
これに対し、Cloudflare が採用したのがCode Modeです。モデルに対して JSON を生成させるのではなく、「JavaScript などのコードを直接生成して実行せよ」と指示します。このアプローチには明確な利点があります。
Cloudflare の API サーフェスには、なんと2,600 以上のエンドポイントが存在します。もし従来の MCP アプローチで各エンドポイントを個別のツールとして公開すると、最初の呼び出しだけで約120 万トークンが必要になります。これは現実的な運用を不可能にする数字です。
そこで Sunil 氏の同僚である Matt Carey が考案したのが、全 API エンドポイントをたった2 つのツールに集約する手法です。
この「検索」と「実行」の 2 つのエンドポイントに、入力としてコードを受け付ける仕組みを導入しました。結果、トークン使用量は120 万から約 1,000 へと削減され、削減率は驚異的な99.9%に達しました。
「120 万〜150 万トークンというものを 1,000 トークンに削減しました。あり得ない話です。」
この効率化により、複雑なタスクも単一のコード実行で完了します。例えば、DDoS 攻撃を受けている最中に「違反 IP をすべて特定してブロックしてほしい」と指示した場合、従来の MCP では数回の往復が必要でしたが、Code Mode ではモデルが即座にコードを生成し、API 上で一発で処理を実行できます。
「コードを生成して実行する」という強力な機能には、当然ながらリスクが伴います。そこで重要になるのがハル(Harness)と呼ばれる安全な実行環境です。これは単なるサンドボックスではなく、LLM がシステム状態を直接操作するための基盤となるアーキテクチャです。
このハルには以下のような重要な特性があります。
「実行可能で能力を公開でき、非常に高速に実行できる何かが必要です。そして、すべての送信フェッチやネットワーク接続を制御できます。」
この環境では、「能力ベースのセキュリティ」が採用されます。モデルが何ができるかは、静的なルールではなく、動的に定義された能力(Capability)によって制御されます。これにより、AI エージェントは安全にシステムと対話しながら、複雑なタスクを遂行できるようになります。
Code Mode の真価は、単にツール呼び出しの効率化にあるだけではありません。これは、AI エージェントが「アプリを生成する」という従来の概念から、「既存の状態(State)に没入して操作する」という新しいパラダイムへの転換を示唆しています。
Sunil 氏は、有名な事例として Cloudflare Workers の作成者である Kenton が行った実験を紹介しました。Kenton は AI に小さな描画キャンバス(Excalidraw スタイル)を作成させました。そして、AI に「私と tic-tac-toe(三目並べ)をしよう」と指示しました。
この時、システムには tic-tac-toe のコードは存在していませんでした。しかし、モデルはキャンバスの状態(ストロークの配列やグリッドラインなど)を検査し、「これは三目並べの盤面だ。あなたは左上に X を置いたね」と理解しました。そして、AI は自ら描画アクションを実行してゲームを開始したのです。
「私たちはプログラムを生成するのをやめ、代わりに状態機械(State Machine)に宿るようになりました。」
これは、LLM が「コードを書く」のではなく、「システムの状態という文脈の中で振る舞う」という感覚です。まるで『攻殻機動隊』の草薙素子がネットワークに没入するかのような体験です。このアプローチにより、AI は事前に用意された複雑なロジックを学習しなくても、システムの現在の状態から瞬時にルールや挙動を理解して行動できるようになります。
この新しいアーキテクチャは、ソフトウェア開発のあり方そのものを書き換える可能性があります。これまで、複雑なシステムを操作するには「コードを書くスキル」が必要でした。しかし、Code Mode とハルが普及すれば、地球上のすべての人間が、システムと連携するコードを生成できる相棒にアクセスできるようになります。
「非技術者が受け入れられるトレードオフとして、自分たちのニーズに合わせてカスタムインターフェースを構築できることだった。LLM はこの境界を壊している。」
例えば、写真整理のタスクでさえ、非技術者は「画像を日付と場所別に整理して名前を変えて」と指示するだけで、背後では AI がコードを生成・実行し、システムを操作します。これにより、開発者向けツールとエンドユーザー向けアプリの境界は溶解し、パーソナライズされた動的アプリケーションが一般化する可能性があります。
この未来を実現するためには、従来の「UI 中心」の設計から脱却する必要があります。次世代のユーザーは AI エージェントそのものです。そのため、開発者は以下の要素を重視したエージェント向け DX(Developer Experience)を設計しなければなりません。
Sunil Pai 氏が語る Code Mode は、LLM が単なるチャットボットを超え、実際のシステム操作を行うための基盤となるアーキテクチャ転換です。JSON ベースのツール呼び出しという「間接的な」方法から、コードを介した「直接的な」相互作用へと移行することで、私たちはトークンコストの劇的削減と処理速度の向上を実現しました。
しかし、その真の意義はそこにはありません。LLM がシステムの状態に没入し、開発者と非技術者の境界を曖昧にするこのパラダイムシフトは、私たちがこれまで経験したことのない「コードが語る」世界への扉を開くものです。企業は今後、従来の UI 設計から、エージェントが安全に消費・操作するための API 仕様とセキュリティポリシー(能力ベースのセキュリティ)への投資へと舵を切る必要があります。
この記事はAIが動画の内容を記事化したものです。正確な発言は動画および文字起こしをご確認ください。