話者は 3 台のマシンで AI コーディングエージェントを運用し、単一マシンでの限界（メモリ不足、コンテキストの断絶、権限混同）に直面した。これを解決するために、ファイルベースの状態管理、階層型組織構造（CEO-VP-Manager-Worker）、および SSH を介した Git 連携による跨マシン状態同期を実装した。しかし、最終的に手動オーケストレーションの限界から脱却し、Kubernetes のような抽象化レイヤーを構築する必要性を痛感している。
デモではなく実際の運用環境での失敗談を語る点は非常に貴重で、AI エージェント開発者が直面する「スケール時の痛み」を具体的に理解できる内容です。Kubernetes への言及は、今後のアーキテクチャ設計において重要な示唆を含んでいます。
- 01
単一人間のボトルネック解消
複数のエージェントを同時に管理すると人間がスケジューラーとメモリとなり限界に達するため、CEO-VP-Manager-Worker の階層型組織構造を導入し、コンテキストを分割した。
- 02
モデル外への状態永続化
LLM のコンテキストウィンドウ制限を回避するため、作業状態をディスク上のファイルとして保存し、リセット時は履歴から再読み込みする仕組みを実装した。
- 03
分散環境での 5 つの障害
単一マシンからの拡張時に、権限の衝突、メモリ不足、タスクの誤配分、コンテキストの競合、そしてマシンの電源断による作業消失という 5 つの重大な問題が発生した。
- 04
Kubernetes への移行戦略
手動で構築したオーケストレーションの限界から、計算資源やシークレット管理を既存の Kubernetes に任せ、上層にレビューフローと文脈管理のみを実装する方向へ舵を切った。
この動画は、AI エージェントを単なるツールから自律的な組織へと進化させる際の、実務レベルでの深刻なインフラ課題（状態管理、分散処理、リソース競合）を浮き彫りにしている。特に、LLM のコンテキスト制限を超えた永続化アプローチと、既存のオーケストレーション基盤（Kubernetes）との統合戦略は、エンタープライズ向け AI インフラ構築における重要な指針となる。