コーディングエージェントのスキル向上から学ぶ Langfuse活用 lessons - Marc Klingen氏

AI エージェントが「スキル」を獲得するまで：Langfuse創設者が語る、ハルシネーションを消す実装パターン

AI エージェントが単なるコード生成ツールから、複雑なインフラ設定やドキュメント解釈を行う自律的なパートナーへと進化するための鍵は、「スキル（Skill）」という概念にあります。Langfuse 創設者の Marc Klingen氏は、従来のドキュメント読み込みや推論に頼るアプローチが生むハルシネーションや非効率性を解消し、信頼性の高い自動化を実現する具体的な実装パターンを明かしました。

「スキル」はマニュアルのような信頼性ショートカット

Marc 氏が「スキル」に対して抱くメンタルモデルは、子供の頃の手探りで解けなかったルービックキューブです。当時は色違いのブロックをどう並べればよいか分かりませんでしたが、マニュアルを手に入れた瞬間に解決策が見えた経験があります。

スキルは、マニュアルを手に入れた後に非常に有効な手段です。マニュアルに従うだけで、複雑な問題も解けるようになります。

従来のワークフローでは、パスワードリセットやメール変更など、タスクごとに異なるルーター（経路）を設計し、それぞれに文脈情報を付与する必要がありました。しかし、ユーザーが「パスワードをリセットしたい」と同時に「メールアドレスも変えたい」といった複合的な要望を出した場合、従来のルールベースのシステムは行き詰まります。

スキルを導入することで、エージェントは段階的に必要な文脈を取得し、歴史的に複数のワークフローに分かれていたマルチドメインの問題を解決できるようになります。これは、完全な自律型エージェントとワークフローのどちらが優れているかという議論に対する答えです。

エージェントの導入範囲は非常に広いため、コーディングエージェントすら不要なケースもあります。しかし、信頼性を高めるためには、スキルによる「形式化されたショートカット」が必要です。

ハルシネーションを防ぐ「最新情報」と「構造化アクセス」

モデルが学習データ（事前トレーニングコンテキスト）に依存しすぎると、古いインターフェースや廃止された機能に基づいた回答（ハルシネーション）を出力するリスクがあります。Langfuse の事例では、2 年前のドキュメントに基づいて SDK ロジックを生成しようとした結果、動作しないコードが出力されるという問題が発生しました。

これを解決するためには、実行時に最新情報を取得する仕組みが不可欠です。Marc 氏は、以下の 3 つの具体的な戦略を推奨しています。

1. エージェント用サイトマップと段階的情報開示

膨大なドキュメント（例：478 ページ）を丸ごと読み込ませるのではなく、エージェントに「まずここへ行って」と指示できるサイトマップのような構造を提供します。これにより、エージェントは不要な情報を探索する時間を省き、必要な文脈を効率的に取得できます。

2. Markdown 形式での提供とリクエストヘッダー

一部のコーディングエージェントはデフォルトで HTML を返そうとしますが、トークン数が増えるだけで処理が重くなります。Marc 氏は、Markdown 形式での提供を強く推奨しています。

コーディングエージェントに「Markdown でください」というリクエストヘッダーを送信するスキルを実装することで、不要な HTML トークンを排除し、効率的な情報取得を実現できます。

3. 検索エンドポイント（RAG）の活用

ドキュメントページを直接探索させるのではなく、自然言語で質問できる検索エンドポイントをエージェントに接続します。これにより、エージェントは関連する回答を即座に得られ、どのドキュメントから情報を取得したかを追跡・検証することが容易になります。

検索エンドポイントを追加することで、エージェントがドキュメントを取得するプロセスを追跡でき、想定していなかった問題も早期に発見できます。

ヒューマン・イン・ザ・ループ：評価設定の自動化とレビュー

Langfuse のようなツールでは、ユーザーがチャットアプリや音声生成など多様なユースケースを構築しています。そのため、「どの評価セットアップが最適か」は一概には言えません。エージェントに最適な選択肢を選ばせるのではなく、人間が最終判断を下す「ヒューマン・イン・ザ・ループ（HITL）」のワークフローが重要です。

Marc 氏は、以下のプロセスを提案しています。

1. 複数の評価セットの準備: ユースケースに応じた複数の評価設定を用意する。
2. エージェントによる提案: エージェントが現在の状況や要件に基づき、最適な改善案を提案する。
3. 人間のレビューと適用: 人間が提案された内容をレビューし、承認して適用する。

エージェントには「アプリで何をするべきか」を発見する役割ではなく、「最適な選択肢を見つけるよう指示する」役割を与えています。最終的な判断は人間が行うことで、品質を担保します。

このアプローチにより、開発者は手動で設定を行うコストを劇的に削減できます。また、エージェントが誤った設定を試行錯誤して修正する時間を省き、信頼性の高い運用体制を構築することが可能です。

まとめ：自律化への近道は「構造化された支援」

AI エージェントのスキル向上において重要なのは、すべてを任せることではなく、適切なマニュアル（スキル）と情報アクセス経路を提供することです。最新情報を取得する仕組みと、人間の知見を活用したレビュープロセスを組み合わせることで、ハルシネーションを低減し、複雑な開発タスクを自律的に処理できるパートナーへと進化させることができます。

結果への近道として、エージェントとの会話の後でより詳細なエビデンスや具体的な手順を提供するスキルが、信頼性の高い自動化の鍵となります。