ローンチ後の欠落したレイヤー - Wandero AI のラファエル・カルナダゼ氏

ローンチは始まりではない：AI エージェントを「信頼できる」ものにする欠落したレイヤー

生成 AI エージェントの開発において、デモでの成功やコードの完成はゴールではなく、本番環境での運用と改善という「真の仕事」の始まりです。従来のソフトウェア開発とは異なり、LLM の非決定性や無限のテストケースが存在する中で、単なるログ監視では不十分です。Wandero AI のラファエル・カルナダゼ氏は、エージェント自身がログを分析し、修正コード（PR）を作成・レビューする「自動ループ」システムの構築こそが、信頼性を担保するための欠落したレイヤーであると提唱します。

デモの成功は幻想：本番環境での「制御喪失」が真の課題

多くのチームは、エージェントをリリースしデモでうまくいけばプロジェクト完了とみなしがちです。しかし、カルナダゼ氏によれば、「本当の作業はリリースした瞬間から始まる」のです。

製品全体や 10 万行に及ぶコードを数日で生成できる現代の AI ツールは、開発プロセス自体を劇的に加速させました。しかし、その分、本番環境でのシステムに対する制御と理解をどう維持するかが最大の課題となります。ユーザーが毎日数百件、数千件の会話を処理する中で、見つかっていない欠陥やシステムの健全性を把握する方法がないままでは、製品は長続きしません。

「迅速なフィードバックこそが、あなたを助けるものです。緊密なフィードバックこそが、毎日製品をより良くしていく鍵です。」

この「ループ」の構築が欠けていることが、多くの AI エージェントプロジェクトが本番環境で挫折する根本原因です。

非決定性と「隠れた失敗」：従来のテストでは守れない壁

AI エージェントは、ボタンを押せば特定の動作をする従来のソフトウェアとは異なります。事前定義されたフローや有限のテストケースが存在せず、カバレッジは無限です。ユーザーがどのような指示を出すか、LLM がどの経路をたどるかを事前にすべて書き起こすことは不可能です。

さらに恐ろしいのは、「非決定性」によって生じる「隠れた失敗」です。エージェントはタスク実行中に困難に直面し、幸運にも回避策を見つけたり他のツールを試したりして一見成功したように見えます。ダッシュボードには赤いアラートも出ず、システムは正常に見えます。

しかし、これはコードベースに潜む問題の早期警告です。例えば、ユーザーが旅行プラン作成を依頼した場合、エージェントは「タスク完了」という技術的な成功を収めつつも、価格計算で重大なミスを犯し、結果としてユーザー満足度は低いというケースがあります。

「運に頼るべきではありません。本番環境こそが、最初に何をテストすべきかを学ぶ場所です。」

ユニットテストやルールベースのチェックでは、顧客一人ひとりの異なる行動パターンや、LLM の微妙な挙動の違いをカバーしきれません。本番投入まで、エージェントが実際にどう振る舞うかは誰にも分かりません。

自律的な修復ループ：エージェント自身が PR を作成・レビューする

この課題に対する解決策は、「エージェント自身に監視と修復の役割を持たせる」ことです。人間がログを分析し、問題の原因を特定して修正コード（PR）を作成するのではなく、エージェントがそのプロセスを自動化します。

カルナダゼ氏が推奨するのは、以下のような自己改善システムです。

1. ログ分析: エージェントがトラジェクトリ（実行履歴）やログをスキャンし、ユーザーが行き詰まっている箇所やエラーを検出します。
2. 原因特定: 単なるノイズなのか、根本的なバグなのかを深く掘り下げて判断します。
3. PR の作成: 問題の理解に基づき、修正コードを含む PR を自動的に作成し、メタデータや図表（Mermaid や ASCII テーブル）で状況を可視化します。
4. レビュー: 別のエージェントがその PR を異なる視点から批判的に検証し、リスクやエッジケースを指摘します。場合によっては、変更を要求したり、PR を直接クローズしたりします。

この「自動ループ」は驚くほど高速です。問題発生から半時間以内に修正 PR が準備され、人間が介入する前に多くの問題が解決されます。最初は人間がループ内に入る必要がありましたが、システムが信頼できるようになれば、最終的には人間の介入を排除することも可能です。

「このシンプルなシステムを構築した後、すでにその挙動や何が起きているかという感覚と理解が得られます。」

メタハッチの構築：人間視点での包括的な健全性確認

ログ監視と自動修復だけでは不十分です。コードやデータベースの内部状態だけでなく、「人間が実際に使う視点」からの監視も必要です。

カルナダゼ氏はこれを「メタハッチ（Meta-Hatch）」と呼びます。これは、ブラウザを開いてログインし、顧客をシミュレーションするコンピューターエージェントを指します。UI に問題がないか、生成されたコンテンツが適切かを確認するためには、コードのログだけでは不十分です。

さらに、数百から数千の会話を横断して高レベルな状況を把握するための「セッションアナライザー」も不可欠です。このシステムは、AI エージェントを使って以下の洞察を提供します。

• パターン検出: 特定の失敗が繰り返されている理由や、論理的な問題の原因を特定する。
• リソース分析: ツール呼び出しの数、サブエージェントの使用頻度、要約の回数を可視化し、非効率なループを検知する。
• 健全性スコアリング: 各セッションにスコアをつけ、成功率やコスト、感情分析などを統合してダッシュボードに表示する。

これにより、開発者は特定のバグを修正するだけでなく、「システム全体が健全か」という高レベルな理解を得ることができます。AI が情報を結びつけ、根本原因と推奨される修正策を提示することで、人間の判断を補完します。

結論：DevOps を超えた「Agentic Ops」の時代へ

生成 AI エージェントの実装において、最も重要なのはモデルそのものではなく、「リリース後のループをどう閉じるか」というインフラストラクチャです。誰もが同じ高性能なモデルやエージェントを使える時代になりましたが、それを信頼できる製品にするのは、内部に構築された自律的な監視・改善システム次第です。

従来の DevOps を超えた「Agentic Ops（エージェント型運用）」の必要性は明白です。エージェント自身がログを分析し、問題を理解し、PR を作成・レビューする自己完結型のループを構築すること。これこそが、本番環境で安定して動作し続ける AI エージェントを実現するための唯一の道なのです。