自己改善型エージェントの背後にあるフィードバックループ：Autoresearch

![image](https://substackcdn.com/image/fetch/$s_!p4Th!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fe316b2cb-4200-4a71-bdcc-c398467b53ef_1280x720.jpeg) Introspection の Roland Gavrilescu 氏（AIEWF での様子）。 今週開催された AI Engineer World's Fair では、ループに関する話題を多く聞きました。もう一つの注目ワードが「autoresearch」です。これは、フィードバック信号、評価（evals）、そして人間の入力を用いて、エージェントが主要システムを維持・改善する「外側ループ」を構築し、時間とともに進歩させる仕組みを指します。 少なくとも、自己改善型システムの展開インフラストラクチャを構築する新興企業 Introspection の共同創設者兼 CEO である Roland Gavrilescu 氏の説明は、そのような枠組みでした。同社設立以前、Gavrilescu 氏は xAI でエージェント用インフラストラクチャやクラウドエージェントの開発に携わっており、そこで共同創設者の Julian Bright と出会いました。 今日開催される AI Engineer World's Fair のセッション「Autoresearch in the Wild」に先立ち、私は Gavrilescu 氏に、エージェントハルネスからフィードバックループへの移行について、オープンソースの Pi フレームワークの役割、そして自律型ソフトウェアファクトリーがまず人間から学ぶ必要がある理由について伺いました。 xAI から Introspection へ Latent Space: 新しい会社である Introspection はどのようにして設立されたのですか？ ロランド・ガヴリレスク：昨年は xAI に在籍し、そこで共同創業者と出会いました。私たちはエージェントインフラストラクチャやクラウドエージェントに取り組んでいましたが、さらに探求すべき新しいエージェントの形態があると感じていました。xAI は、その点に完全に集中できる環境とは必ずしも言えませんでした。 私たちは退社を決断し、この新しい形態を中心に設計された企業はどのようなものになるのかを問いかけました。Cursor や Cognition といった企業がなぜ成功したのか、そしてそれらのアイデアのいくつかを他者が利用できる製品へとどう転換できるかに興味がありました。 それが Introspection の基盤となりました。 Autoresearch を用いれば、エージェントがシステム自体の維持を支援するループを構築できます。課題は、適切なシグナルとフィードバックメカニズム（feedback mechanisms）を設計し、人間に常にボトルネックされることなく、エージェントがシステムを改善し、アーキテクチャ上の意思決定を行い、正しい方向へと進めるようにすることです。 ループそのものが製品となる Latent Space：あなたのセッションタイトルは「Autoresearch in the Wild」ですが、どのような内容を扱うのでしょうか？ ガヴリレスク：Autoresearch が実験の改善にどう役立つかについては多く語られてきましたが、私たちはこれらのループが本番環境（production）でどのように見えるかについて話し合いたいと考えています。 私たちは、新しい青写真の基礎を形成すると考える 3 つのパターンを発表します。 第一に、ループそのものが製品であるということです。私たちはモデルからハーンネス（harnesses）へ、そして現在はループへと焦点を移してきました。鍵となるのは、エージェントがより多くの作業を引き受けても、より多くのスロップ（slop：不要なゴミデータやノイズ）を生み出さないようにするための適切なフィードバックメカニズムを定義できるかどうかです。 第二のパターンは、ループが生成するもの、およびそれを時間経過とともにどのように追跡するかに関するものです。私たちは「エージェントレシピ」という概念を提案しています。 私たちはエージェントツールからエージェントスキルへと移行しました。レシピは、人間の専門知識を符号化するために必要なコンポーネント（評価指標、判定者、信号処理、そしてループにフィードバックされる情報など）を集約するより大きなコンテナです。 目標は、エージェントが反復的に改善できるポータブルなフォーマットを作成することであり、まるで研究実験室のようでありながら、特定のプロバイダーに依存しない方法で実現します。 第三のパターンは、何を最適化の対象とするかについてです。システムを時間とともにどのようにしてより良く、かつ安価にしていくことができるでしょうか？ Cursor や Cognition といった企業は、これらの製品が機能しうることを示しました。次の段階は、それらをよりアクセスしやすく、高速で低コストにし、最先端モデルの機能を、あなたが所有し、あなたの環境にカスタマイズされたシステムへと徐々に凝縮することです。 エージェントレシピ Latent Space: エージェントレシピについてもう少し詳しく説明していただけますか… Gavrilescu: それは必要な材料の説明であり、それらがどのように進化していくかを記述したものです。 この考え方は、モデルのポストトレーニング（post-training）で用いられるデータレシピに部分的由来しています。データレシピは、異なるドメインからのデータをどの程度モデルに焼き込むべきかを示すものです。 エージェントのレシピも同様です。レシピには、ハレスが異なるモデルとどのように連携するか、使用する評価指標、作成した判定者、取り込んだ人間の専門知識、そして新しい評価へとつながった失敗などが記述されます。 明日突然、Devin のコードベースへのアクセス権を得たと想像してください。チームが現在のバージョンに至るまでのプロセスが見られない限り、コード単体では必ずしもそれほど役立つものではありません。そこに至るまでの失敗やミス、意思決定を理解したいと思うはずです。 レシピはそうしたプロセスを捉えます。まずベースラインから始め、各シグナルがどのように新しい判定者を生み出し、人間の専門知識を組み込み、あるいは異なるモデルの導入へと導いたかを記録していきます。 インナーループとアウターループ Latent Space: オートリサーチとは、複数のエージェントをオーケストレーションすることを意味するのか、それとも 1 つのエージェントが繰り返し作業を行い結果を検証することを含むのか？ Gavrilescu: システムはインナーループとアウターループを持つものと考えられます。 インナーループはユーザーと対話し、実際の業務を遂行する主要なシステムです。オートリサーチはよりアウターループに関心があります。これは主要なシステムを研究し維持する別のシステムです。 問われるのは、何をすべきかを決定する際に、適切な問題に対して進歩を達成しつつ、不合理な数のトークンを消費しないように、そのアウターループをどう設計するかという点です。 エージェントハレスの Linux としての Pi Latent Space: Pi を Linux に例えられました。その比喩において、Introspection は Red Hat のようなものですか？ ガヴリレスク：Pi は、エージェント・ハーネスにおける Linux のようなものです。Linux には Ubuntu などのディストリビューションがありますが、基盤となるシステムは拡張可能に設計されています。Pi も同様で、変更されていないバニラ製品として実行されることを意図したものではありません。Pi はエージェント・ループとその拡張機能および設定を分離しており、これによりエージェントの移植性が確保されます。異なるファイルをランタイムに読み込むことで、複数の異なるエージェントを簡単に起動できます。 私たちは、この拡張性をレシピやオープンソースのビルディングブロックと組み合わせる機会を見出しました。これらは各顧客向けに進化させることが可能でありながら、依然として移植性が高く、デプロイも容易です。 本番環境におけるループの信頼性確保 レイテント・スペース：本会議では、信頼性とエージェント・ループの複雑な現実が繰り返し議論されるテーマとなりました。Introspection はこれらの課題にどのように取り組んでいるのでしょうか？ ガヴリレスク：当製品は、本番環境への移行を準備する時点を中心に設計されています。 ループを機能させるために必要なインフラストラクチャ、コストの抑制、セキュリティの維持について把握する必要があります。マネージド・インフラストラクチャ（managed infrastructure）は、これらのシステムが本番環境で稼働するために必要な要素を網羅しています。 私たちの重点の大きな部分は、フロンティア AI 研究所内で利用可能な種類のインフラストラクチャを、他の企業がデプロイできる製品として提供することです。 人間もシステムの構成要素として残る レイテント・スペース：ループ内における人間の役割についてはどうでしょうか？ ガヴリレスク：これらのループは、システムが進展する際に適切なシグナルを得る必要があるため、人間をループ内に組み込むように設計されています。 人間は効果的にツールとなり、シグナルの源にもなり得ます。エージェントは「人間に質問する」というツールを通じて人に問いかけるように訓練することができます。 最初の数回のループの間、エージェントは質問を頻繁に行い、人間がどのように行動するかを学ぶことに大きく依存します。時間が経つにつれて、それらの嗜好を蓄積し、次第により自律的な存在へと成長していきます。 これは新しい会社に入社した従業員に似ています。最初は多くの質問をしますが、組織の仕組みを理解するにつれ、より独立して意思決定を行えるようになります。 エージェントインフラストラクチャを垂直市場へ展開する Latent Space: どのようなユースケースが見られていますか？ Gavrilescu: 私たちは垂直型エージェントに集中しています。 コーディング用エージェントは明らかに機能しており、その分野で成功した企業も多数見受けられます。次の課題は、エージェントを垂直市場や非コーディング領域へどのように展開するかです。 これらの市場にある企業は、単一のプロバイダーに依存することなく、かつ安全にこれを実現する方法を求めています。彼らは展開の主体性を自分たちに持ちたいと考えており、データの所有権を維持したいのです。また、OpenAI や Anthropic にロックインされることも望んでいません。Introspection は、オープンソースのビルディングブロックを用いてこれらの要件を満たすインフラストラクチャを提供することを意図しています。 フロンティア AI 研究所は洗練された内部エージェント技術を発展させてきました。私たちは、同様の機能を垂直型 SaaS およびサービスビジネスに持ち込むことを目指しています。 なぜ Git で作業が行われるのか 潜在空間：内省は主に開発者向けですか、それともプロダクトマネージャーやその他のビジネスユーザーもこれと連携するのでしょうか？ ガヴリレスク：私たちは当初、垂直統合型 SaaS 企業のソフトウェアエンジニアに焦点を当てています。 環境はエージェントフレンドリーであるべきであり、つまりエージェントが自身のリポジトリやコードベース内で作業できるようにしたいと考えています。すべては Git ベースであり、Git は時間経過とともに維持される監査証跡となります。 将来的には、プロダクトマネージャーなどが参加できるインターフェースも登場するでしょう。しかしすでに、プロダクトマネージャーがコードにより近づいている様子が見られます。 私たちが考える適切な初期の形態は、実際の作業とその履歴が Git に存在する「人間からエージェントへのインターフェース」です。 オーケストラからソフトウェアファクトリーへ 潜在空間：Introspection は、より広範な「ソフトウェアファクトリー」という概念に収まるのでしょうか？ ガヴリレスク：はい。ループを設計することは、本質的にファクトリーを設計することです。残された課題は、そのファクトリーがどの程度の自律性を持つべきかという点です。 また、「ファクトリーではなくオーケストラ」という議論も行われてきました。この区別は、実質的に自律性のレベルに関するものです。 オーケストラでは、ループの運用方法を制御する人間指揮者が残される可能性があります。一方、ファクトリーとは、より完全に自律的なものを指します。 ただし、初日から完全に自律した工場を構築できると想定するのではなく、工場の構築に向けて取り組むべきです。モデルは当初、すべての文脈を備えているわけではなく、組織内の人間が行うあらゆる意思決定を理解しているわけではありません。そのような知識すべてを Markdown ファイルに単に記録することはできません。 適切なアプローチは、人間を工場の中核コンポーネントとして設計することです。初期システムは、すぐにすべてを自動化しようと試みるのではなく、時間をかけて人々から暗黙知やワークフローを抽出するべきです。 autoresearch を始めるには Latent Space: autoresearch で実験したいエンジニアに対して何を推奨しますか？ Gavrilescu: 最初のステップは、シグナルへの投資です。エージェントに実際に反応してほしいものは何でしょうか？ 製品フィードバックは良い例です。すべてのフィードバックが同じ価値を持つわけではなく、個々のデータポイントすべてに対応することはできません。シグナルをフィルタリングし、エージェントが行動すべきものを見極めるためのメカニズムが必要です。 2 つ目の要件はコストのコントロールです。エージェントが非効率的なループを実行しているために、目覚めたときに予期せぬ千ドルの請求書を受け取るようなことは避けなければなりません。 3 つ目は研究を追うことです。モデルにトレーニングさせるためのハーン（harness）の種類を確認し、それらのパターンに近づいてください。研究ラボがデータレシピをどのように使用しているかを研究し、その考え方を自社の製品に応用する方法を検討してください。 より広範な目標は、エージェントをミニチュア研究者として機能させることで、製品組織をミニチュアの研究所へと変革することにあります。

自己改善型エージェントの背後にあるフィードバックループ：Autoresearch

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト