AI エージェント体験のために AI インフラがどう進化すべきか - Modal CTO Akshat Bubna

Modal の CTO、Akshat Bubna 氏は、AI エージェントが自律的にインフラを管理する時代において、従来の YAML や Kubernetes ベースの設定管理はボトルネックになると指摘した。同社は戦略の焦点を「開発者体験（DX）」から「エージェント体験（AX）」へとシフトさせ、コードにデコレーターを配置してインフラ要件を記述する自己プロビジョニング型ランタイムを新たな標準として提案している。

YAML の重さから脱却：エージェントが求める「自己プロビジョニング型ランタイム」

従来のインフラ管理では開発者が Kubernetes や YAML ファイルを記述・管理する必要があったが、Bubna 氏はこのアプローチが AI エージェントには不向きであると指摘する。数百の Kubernetes ファイルを読み込ませたり、型のない YAML を書かせたりするのではなく、デコレーターによる簡潔な記述でインフラを操作できる環境が必要だと主張した。

Modal はコードとインフラ要件を共置させることで、エージェントが変更を即座に実行し、その結果をライブで確認できる動的な環境を提供している。これは静的な設定管理の課題を解決し、エージェントが自律的にインフラを操作するための基盤となる。

DX から AX へ：戦略転換と「コードを見ない」時代の観測可能性

Modal は SDK チームの思考を「開発者体験（DX）」から「エージェント体験（AX）」へと再構築した。Bubna 氏は Swyx Wang 氏との対話で、人々がもはやコードを見ていないという現実を踏まえ、コード自体を見ることよりもダッシュボードの質や観測可能性が重要だと語った。

エージェントは CLI を使って自ら調査を行い、人間が判断を下すべき局面を見極める必要がある。この転換により、Modal はエージェントがブラックボックスとして扱えるコードを扱いながら、その出力される「観測可能なアクション」に基づいてプロンプトで変更を指示できる仕組みへと進化させた。

RDMA とプライベート IPv6：大規模分散トレーニングのボトルネック解消

AI エージェントや大規模モデルのトレーニング・推論において、ネットワーク帯域幅は最大のボトルネックの一つだ。Modal は RDMA（Remote Direct Memory Access）を活用した高速メモリ転送と、プライベート IPv6 ネットワークの実装によりこの課題に挑んでいる。

TCP オーバーレイを介して RDMA をセットアップし、メモリ転送効率を劇的に向上させることで通信ボトルネックを解消する。Modal の内部ネットワークは 3 テラビット/秒の帯域幅を持ち、50Gbps の RDMA 接続を実現している。これによりマルチノードでの分散トレーニングや RL（強化学習）推論において GPU から GPU へのデータ転送が高速化され、従来の TCP/IP スack をバイパスする効率的な通信が可能となっている。

弾力的なスケーリングと「スーパークラウド」の構築

予測不能なトラフィックパターンや地域ごとの需要変動に対応するため、Modal は数千の GPU を数時間で伸縮させる高度なオートスケーリング機能を備えている。Neo Cloud やローカルプロバイダーを組み合わせつつ独自の信頼性レイヤーを構築することで「スーパークラウド」を実現している。

GPU が故障してもユーザーワークロードに影響がないよう独自の信頼性レイヤーを構築した結果、より多くの容量を活用できる。さらにデータローカリティやレイテンシの要件に応じ EU やオーストラリアなど特定の地域に CPU/GPU をピンポイントで配置する機能も提供している。

Modal の Akshat Bubna 氏は、AI エージェントの時代において従来の YAML や Kubernetes に依存したインフラ管理は非効率であると断じ、コードに直接埋め込まれるデコレーター型や自己プロビジョニング型のランタイムが新たな標準となり得ると説いた。RDMA を活用した高速ネットワーク基盤と弾力的なスケーリング機能は、次世代 AI インフラの設計思想を大きく変えるだろう。

「私たちは、エージェントがコードを見ずに観測可能なアクションに基づいて判断できる環境を提供している」と Bubna 氏は述べている。このアプローチは、AI エージェントが自律的にインフラを管理する未来への第一歩を示唆しており、次世代の AI インフラ設計において重要な指針となる。