エージェントが他者を作る時代：Nearform のアルフォンソ・グラツィアーノ氏

エージェントが他者を作る時代：信頼性を担保する「自己進化」の実践的アプローチ

AI エージェントの普及が進む中、ハルシネーション（幻覚）や非決定的な挙動といった課題が実用化の最大の障壁となっています。しかし、NearForm のアルフォンソ・グラツィアーノ氏は、人間が定義した厳格な評価基準と、コードを自動修正する「自己進化」の仕組みを導入することで、この信頼性の欠如を解決できると説きます。

本稿では、専門家が共同で構築したテストスイート（Golden Dataset）の活用方法や、AI 自身が評価結果に基づいて仮説を立てて改善を繰り返す「AutoAgent」のプロセス、そして本番環境でのフィードバックループまで、堅牢な AI エンジニアリングの実践的フレームワークを紹介します。

非決定的なエージェントを測る「Golden Dataset」の構築

AI エージェントは LLM（大規模言語モデル）が脳となり、ツールや文脈に接続されたループで動作します。しかし、LLM は本質的に確率的であり、同じ入力でも出力が変わる「非決定性」を持っています。この性質を管理し、エージェントの正確性を定量化するために必要なのがGolden Dataset（ゴールデンデータセット）です。

これは単なるテストケースの集合体ではなく、ドメインの専門家と共同で定義した「入力と期待される出力のペア」のセットです。例えば、単純な計算問題だけでなく、「このツールを呼び出す」「特定のパラメータで検索を実行する」といった具体的なアクションや、その結果として得られるべきテキスト・数値までを含みます。

ゴールデンデータセットは、非決定的なシナリオにおけるテストスイートと見なすことができます。これにより、現在のシステムの精度がどの程度かを数値化し、基準（ベースライン）を設定して回帰を検出できます。

このデータを評価する際も、単なる文字列の一致ではなく、LLM を活用したスコアラーを同時に構築する必要があります。スコアラーは「期待出力が含まれているか」や「ツール呼び出しが正しい順序で行われたか」などを判定し、最終的にシステム全体の精度（パス率）を算出します。

グラツィアーノ氏のチームが初期に作成した単純なエージェントでは、ツールもプロンプトの最適化も施されていない状態でした。その結果、評価でのパス率はわずか 18% にとどまりました。これは、LLM の内部知識だけで答えられる簡単な質問（足し算など）しか含まれていないためです。残りの 82% は、外部ツールや適切な文脈取得機能が必要であり、それらが欠如していることが失敗の主要因でした。

AI が自らを改善する「AutoAgent」による自己進化ループ

評価で精度が低いことが判明しても、人間が手動でプロンプトを微調整したりコードを書き換えたりするのは時間がかかります。そこで登場するのが、AutoAgent（自動エージェント）です。

これは、アンドレイ・カルパティ氏が提唱した「自動研究」の概念を AI エージェント開発に応用したものです。コーディングエージェントがターゲットのエージェントを評価し、その結果に基づいて仮説を立ててコードやプロンプトを自動修正するループを実装します。

仕組みとプロセス

1. ベースラインの作成: まず、現在のエージェントで評価を実行し、何が機能していて何が失敗しているかを文書化します。これにより、コーディングエージェントにシステムの現状に関するコンテキストを提供します。
2. 仮説立案と実装: コーディングエージェント（例：Claude Code）が、失敗の原因を分析し、「ツール説明を追加する」「システムプロンプトの指示を変更する」などの仮説を立ててコードを更新します。この際、各変更は新しいブランチで行われ、安全性が担保されます。
3. 評価と判断: 新しいコードで再度評価を実行します。結果が改善していればそのブランチを継続し、回帰（性能低下）や問題が発生した場合は自動的に前の状態へロールバックします。
4. 記録と学習: すべての仮説と変更履歴は「メモリファイル」に記録され、次の反復で参照されます。

人間がループに参加する際、重要な指針として「評価に合格させるために Golden Dataset やスコアラーを改変してはいけない」というルールをコーディングエージェントに伝えます。これは、システムがテスト自体をダマすことを防ぐための必須のガードレールです。

このプロセスにより、グラツィアーノ氏のチームは、ツールも持たない状態からスタートした単純なエージェントで、約 10 回の反復を経て精度を83%まで引き上げました。また、すでに人間が最適化済みの生産環境のエージェントでも、AI が発見した新しいアプローチにより、内部ベンチマークでさらに10% の向上を実現しています。

ハルシネーション対策と「Harness Engineering」の重要性

評価結果の改善だけでなく、本番環境での信頼性を高めるには、ハルシネーションやコスト増といった問題への対処が不可欠です。多くの場合、これらはツール不足やシステムプロンプトの不備に起因します。

エージェントに必要なすべての文脈を安全に取得できるように、十分なツールを提供する必要があります。例えば、正確なシステム内検索やウェブからの情報取得機能など、ドメイン固有の知識を補完するツールが不可欠です。

また、エージェントが安全に変更を加えられる環境を整備するためのHarness Engineering（ハーンエンジニアリング）も重要です。これは、Linting（コード規約チェック）、ユニットテスト、LLM によるコードレビューなどを組み合わせた品質ゲートです。これらのゲートを通過させることで、AI が生成した変更がシステム全体に悪影響を与えないように保証します。

本番データからのフィードバックループと失敗モードのクラスタリング

評価スイートではカバーしきれないのは、実際のユーザーが直面する複雑なシナリオです。そこで重要になるのが、ライブデータ（本番環境データ）を活用した改善プロセスです。

1. データの収集: ユーザーがシステムを利用した際のトレース（入力・出力・使用ツール・応答時間など）と、ユーザーからのフィードバック（高評価/低評価、コメント）を収集します。専門家がトレースに注釈をつけるケースもあります。
2. 失敗モードのクラスタリング: 収集されたデータからネガティブフィードバックを抽出し、AI エージェントが自動的に類似した事例をグループ化（クラスタリング）します。これにより、「特定の条件下でツールが誤作動する」「文脈取得に失敗する」などの共通パターン（失敗モード）を特定できます。
3. 根本原因分析と修正: 専門家の知見と照らし合わせながら、各クラスタの根本原因を分析します。「理由 X によってパフォーマンスが悪かった」といった仮説を立て、コーディングエージェントが修正案を実装・テストします。
4. リリースと検証: 既存のトレースを回帰テストとして使用し、修正が問題ないことを確認した上で本番環境にリリースします。

このアプローチにより、グラツィアーノ氏のチームは、本番環境で稼働するエージェントにおいても、不正な挙動を防ぎながら評価精度を67% から 86%へと向上させることに成功しました。これは、AI が人間が気づかなかったエッジケースを発見し、システムプロンプトやツールロジックを自動的に改善した結果です。

まとめ

AI エージェント開発における最大の課題である「信頼性の欠如」は、単なるプロンプトの調整で解決できるものではありません。専門家が定義するGolden Datasetによる厳格な評価と、AI 自身が仮説を検証・修正を繰り返すAutoAgentによる自己進化ループ、そして本番データからの継続的なフィードバックを組み合わせたエンジニアリング基盤こそが、次世代のエージェントを実現する鍵となります。

エージェントが他者（他のエージェント）を作る時代において、人間は「定義と監視」に集中し、AI に「改善と実行」を任せることで、セキュリティと品質を担保した堅牢な AI インフラを構築できます。