エージェントエンジン内部を解明：LangChain との対談

AI SRE の壁を破る：LangChain 創業者が語る「評価基準」と「オフライン知識」の重要性

生成 AI が単なるコード生成ツールを超え、複雑なインフラの自律的修復（AI SRE）という実社会の重大課題に本格的に参入する転換点到来です。LangChain 創業者のハリスン・チェイ氏と AI SRE 企業 Traversal の共同創設者アンニシュ・ナイルカント氏が、大規模システム障害対応における AI エージェントの限界と突破策について対談しました。

彼らが指摘するのは、ラベルデータの欠如や膨大なデータ量の検索難易度、そして人間のトラブルシューティング能力の限界という 3 つの壁です。この対談から読み解けるのは、「オフラインでの知識構築」と「オンラインでの推論」をどうバランスさせるか、そして特定のベンダーに依存せず科学的な評価基準でモデルを選定する姿勢がいかに重要かという、今後のエンタープライズ向け AI エージェント開発の指針です。

3 つの壁：なぜ AI SRE はこれほど難しいのか

AI を用いたシステム障害対応（SRE）は、一見するとコード生成タスクと似ているように見えますが、実態は全く異なる過酷な環境にあります。Traversal の創設者たちは、この分野に取り組むにあたり予想以上の難易度に直面しました。

まず第一に、「ラベルデータの欠如」です。LLM（大規模言語モデル）は一般的なテキストで学習していますが、システム障害のテレメトリデータやログのような特殊なデータで訓練されたわけではありません。そのため、AI が自然にこの分野を理解するのは困難です。

第二に、「人間からの学習データの収集が不可能に近い」という点です。一見すると「人間のトラブルシューティングプロセスをコピーすればいい」と思えますが、現実はそう単純ではありません。システム障害時にパニックになる現場のエンジニアは、必ずしも最適な解決策を選んでいるわけではありません。実際、大規模な障害時には 50〜60 人の専門家が「戦争室（War Room）」に集まり、リアルタイムで文脈を構築しようとするほど、人間のトラブルシューティング能力には限界があります。

「人間が何をしているかをコピーするアプローチは、この問題に対する正しい考え方ではありません。なぜなら、人間自体がトラブルシューティングにおいて非常に苦手だからです。」

第三の壁は「膨大なデータ量と検索のボトルネック」です。大企業では 1 日でペタバイト規模のログが発生します。これをすべてコンテキストに読み込もうとすれば、計算コストは小国の GDP に匹敵するほどになり、実質的に不可能です。また、API を介した逐次的な検索（grep など）では速度が追いつかず、数分以内の解決が求められる現場のニーズに応えられません。

解決策：「生産世界モデル」によるオフライン知識の構築

これらの課題に対し、Traversal は「生産世界モデル（Production World Model）」という概念を提唱しています。これは、システム全体の接続性や構造を理解するための事前構築された知識ベースです。

このアプローチの核心は、「オフラインでの計算」と「オンラインでの推論」の適切なバランスにあります。すべてのデータをリアルタイムで検索するのではなく、コード、Slack の会話ログ、エラーログなどの非テレメトリデータを事前にインデックス化・収集し、システムがどう繋がっているかを学習させておきます。

「これは、LLM が作成した LLM 読み取り可能なコードベースのメンタルモデルである DeepWiki と似ています。つまり、あなたの生産環境における『DeepWiki』を構築するのです。」

このオフラインでの知識蓄積により、AI エージェントは「どこを見るべきか」を事前に知ることができます。これにより、検索コストを抑えつつ、必要な文脈を迅速に取得することが可能になります。

また、データの種類によって戦略を使い分けることも重要です。セッション ID や相関 ID などの高カーディナリティ（頻繁に変化する）なデータはリアルタイムクエリで扱い、サービス名や構成など低カーディナリティで安定した情報はオフラインの知識ベースで管理します。このように、データの粒度と鮮度に応じて検索戦略を切り替える知能層が不可欠です。

科学的アプローチ：ベンダー信仰から「評価（Evals）」へ

モデル選定においても、特定の LLM ベンダーへの信仰や「どのモデルが一番か」という議論は既に過去のものになりつつあります。重要なのは、継続的な評価（Evals）に基づいて最適なモデルを選択する姿勢です。

特に注目すべきは、評価タスクの選び方です。多くの組織が簡単なタスクで評価を行ってしまいますが、Traversa はあえて「最も困難で検証可能なタスク」に焦点を当てています。具体的には、実際の障害対応（Incident Response）のような複雑なシナリオを評価基準とすることです。

「評価は容易なタスクではなく、難易度の高いタスクに集中すべきです。それが一般化を促す鍵となります。」

簡単なタスクで高スコアを出すことよりも、困難な障害対応タスクを正しく処理できる能力こそが、実社会での信頼性を担保します。このように、難易度ベースの評価戦略を採用することで、AI エージェントの汎用性と堅牢性が飛躍的に向上します。

結論：AI SRE が変える未来

今回の対談で示されたのは、生成 AI の次の段階として「AI SRE」が確立される道筋です。単なるコード生成ツールを超え、複雑なインフラを自律的に修復するシステムは、医療や学術研究など他の分野への応用も視野に入れています。

重要なのは、技術的なアプローチの転換です。「評価基準の再定義」と「オフライン知識の事前構築」は、今後のエンタープライズ向け AI エージェント開発における標準的な設計思想となるでしょう。特定のベンダーに依存せず、科学的な評価と体系的な知識管理によってのみ、AI は真の意味で社会インフラを支える存在へと進化できるのです。