LLM に運転を任せるな Microsoft 関係者

LLM に運転を任せるな：Microsoft 関係者が語る、AI エージェントの信頼性を高める「制御フロー外部化」の実践

生成 AI を活用したエージェント開発において、「プロンプトを工夫すれば解決する」という考えはもはや通用しません。Microsoft の技術者らが構築したライブ音声チューター「ACE」の事例から明らかになったのは、複雑な意思決定やフロー制御を LLM に委ねるのではなく、外部で厳密に管理する「ハーンエンジニアリング」こそが信頼性の鍵だということです。

問題の本質：プロンプト強化では解決しない「スキップ」と「ループ」

マルチステップの AI エージェントを開発した経験がある方なら、デモ時の成功と本番環境での失敗の違いに直面したことがあるはずです。ユーザーが実際に使い始めると、エージェントは途中で作業を完了してしまったと誤認したり、必要な手順をスキップしたり、あるいは同じ手順を無限ループさせたりします。

多くの開発者が最初に手を付けるのは「プロンプトをより厳密にする」「追加の指示を追加する」という対応ですが、彼らはこれを「信頼性の欠如はプロンプトの問題ではない。制御の問題だ」と断じました。

"The model is the talent, and the harness is the director."

（モデルは才能ある俳優であり、ハーン（制御層）が監督役であるべきです。）

LLM は特定のタスクを実行する能力には長けていますが、「今が 6 ステップ目のうちの 3 番目か」といった文脈の追跡やフロー管理においては極めて苦手です。この「運転」をモデルに任せる限り、不具合は避けられません。

解決策：状態機械（ステートマシン）による厳密な役割分担

ACE の開発チームが採用したのは、「モデルを実行役（タレント）、ハーンを監督役（ディレクター）」とする設計です。レッスンの全体像を小さな状態機械として定義し、各ステップ（導入、指導、確認、採点、進行、終了など）を明確に区切ります。

この仕組みでは、LLM に「全体の流れを考えろ」とは指示しません。代わりに、現在の状態に基づいて「神経契約（Neural Contract）」と呼ばれる特定のアクションのみを実行するよう指示を送ります。

• ハーンの役割: 入出力を制限し、どのステップにいるかを管理し、次のステップへ遷移するかを決定します。
• LLM の役割: 与えられた入力に基づき、指定されたアクション（例：特定の質問をする、ホワイトボードに描画する）のみを実行して結果を返します。

この設計により、モデルは「どこにいるか」を考える必要がなくなり、その分タスク実行に集中できます。ハーンが入出力を検証し、状態を進めるため、モデルが勝手にループしたりステップを飛ばしたりすることは物理的に不可能になります。

コストとレイテンシの劇的改善：軽量モデルで高品質を実現

このアプローチの最大の利点は、コストと速度にあります。通常、複雑な推論やフロー管理を LLM に任せる場合、高度な推論能力を持つ大規模モデル（例：Claude 3 Opus や GPT-4 など）が必要になります。

しかし、ACE ではハーンが制御フローを完全に担うことで、軽量で推論能力が限られたモデル（例：Haiku）でも同等の品質を発揮させることに成功しました。

"We were actually able to rely on something like a Haiku 4.5... saving money, saving time, and saving latency."

（私たちはより軽量なモデルに頼ることで、コスト、時間、レイテンシを大幅に削減できました。）

推論能力が低いモデルでも、外部の制御層によって「何をすべきか」が明確に制限されているため、期待通りの動作が可能になります。これにより、大規模モデルへの依存度を下げつつ、低遅延かつ安価な運用を実現しています。

適用範囲：開発者ツールから DevOps まで

この「制御フローの外部化」という原則は、音声アシスタントに限定されません。コーディングエージェント、DevOps のランブック（Run Books）、新入社員オンボーディングフローなど、信頼性が求められるあらゆる分野で応用可能です。

判断基準はシンプルです。「エージェントの動作がコイン投げのような確率論的になっているなら、その意思決定をモデルから取り出し、外部で制御する抽象化層を作るべきだ」と考えます。モデルに「話させる」ことは許容しますが、「運転（意思決定）を任せる」のは避けるべきなのです。

まとめ

AI エージェントの実用化において最大の障壁は「信頼性の欠如」ですが、その解決策はプロンプトの微調整ではなく、「制御フローをモデルから切り離す」という設計思想の転換にあります。監督役であるハーンを構築し、モデルに実行のみを任せることで、軽量なモデルでも高品質で安定したシステムが実現可能になります。