強化学習によるマルチターンAIエージェントのカスタマイズ

強化学習によるマルチターンAIエージェントのカスタマイズ 検証可能なグランドトゥルースに基づく既存の環境シミュレーターと報酬関数を活用することで、小さなモデルと小さなトレーニングデータセットであっても、タスクの成功率を向上させることができます。 共有 共有 リンクをコピー 今日の急速に進化するAIの状況において、組織は、特定のドメインやビジネス環境で卓越した能力を発揮するAIエージェントをますます必要としています。汎用AIシステムは幅広いタスクにおいて印象的な能力を示しますが、特定のワークフロー、ツール、組織のニーズに対する深い理解を必要とする専門的な文脈で展開される場合、しばしば不十分な点があります。 最近の研究で、Amazon Web ServicesのAI Labsの科学者たちは、機械学習に関する広範な専門知識や法外な計算資源を必要とせずに、汎用エージェントを特定のドメインに効率的に適応させる方法を調査してきました。パーソナルアシスタントエージェントとエージェント型検索拡張生成（RAG）という2つの異なるユースケースにわたる体系的な実験を通じて、比較的少量のトレーニングデータであっても、強化学習ベースのカスタマイズが多様なユースケースにわたるタスクの成功率を大幅に向上させることができることを実証しました。 実験的枠組みと仮定 複雑な内部システムを操作し、企業固有のポリシーを理解し、何千ものインタラクションを通じて一貫したブランドの声を維持する必要があるカスタマーサービスエージェントを考えてみてください。あるいは、特定の組織のコーディング標準、アーキテクチャパターン、開発ワークフローに適応しなければならないコーディングアシスタントを想像してみてください。これらのシナリオは、既製のAIソリューション以上のものを要求します。それらは、意図された環境に対して体系的にカスタマイズおよび最適化できるエージェントを必要とします。私たちの研究は、そのようなエージェントをカスタマイズするための強化学習（RL）の使用を探求しています。 実験に実用的な基盤を確立するために、私たちはいくつかの単純化の仮定を置きました。私たちは主に、ツールを使用して自律的にタスクを完了でき、その結果がグランドトゥルースに対して検証可能な非同期マルチターンエージェントに焦点を当てました。このアプローチは、多くのシナリオに適用可能な枠組みを維持しながら、シミュレートされたユーザーへの依存を減らします。 さらに、公開ベンチマークデータセットおよびエージェントから既存の環境およびツールシミュレーターを活用し、シミュレーションインフラをゼロから構築するのではなく、中核となるRL方法論に集中できるようにしました。報酬信号については、タスク完了率、コード実行の成功、情報検索の精度など、環境から直接利用可能な検証可能なフィードバックに依存しています。これらの制約は、シナリオを現実的なものに保ちながら、実験を開始するために必要な最小限の条件を提供します。 実験設計 パーソナルアシスタントエージェントに関する実験では、電話アプリのインタラクションを通じて日常活動を完了させることを含むAppWorldベンチマークを使用しました。エージェント型RAG実験では、2つの異なるデータセットを使用して、インテリジェントな情報検索と統合のためのDeepSearchエージェントを実装しました。報酬関数については、AppWorldには検証可能な環境ベースのフィードバックを、RAGタスクには完全一致と意味的精度を頼りにしました。 私たちのRLトレーニングフレームワークには、オンラインシミュレーターとオンラインRLトレーナーという2つの主要コンポーネントがあります。オンラインシミュレーターは、タスクのバッチを受け取り、ロールアウト軌跡のバッチ（エージェントとその環境との間のインタラクションのシーケンスで、しばしば数十のAPI呼び出しを含む）を生成します。また、グランドトゥルースに対するチェックを実行することによって、各軌跡に対する報酬も生成します。 RLベーストレーニングパイプライン。 オンラインRLトレーナーは、オンラインシミュレーターからのロールアウト軌跡と報酬を受け取り、アクターポリシーを更新します。内部的に、オンラインRLトレーナーには、アクター、クリティック（近接方策最適化用で、ポリシー更新中に各トレーニング例に与えられるべき最適な重みを近似する）、およびリファレンスモデルなどのコンポーネントがあります。オンラインRLトレーナーでアクターポリシーが更新された後、アクターモデルの重みはオンラインシミュレーター内のエージェントに同期されます。 RLベーストレーニングパイプライン AppWorld実験を例として、RLパイプラインを詳しく見てみましょう。まず、シミュレーターは、提供されたタスクIDに基づいてエージェントとAppWorld環境との間のインタラクションの並列シミュレーションを行い、ロールアウト軌跡のバッチを生成します。そのような軌跡の1つを考えてみましょう。これは、エージェントが「ファイルに日付プレフィックスを追加し、当年以外のファイルをリサイクルビンに移動する」という高レベルの指示を、複数のアプリケーションと推論ステップにわたる32の離散的なAPI呼び出しのシーケンスに体系的に分解する方法を示しています。 32ステップのサンプル軌跡のステップ17から19。完全な軌跡はAppWorldウェブサイトで見つけることができます。 エージェントは、スーパーバイザー提供の認証情報を使用してファイルシステムで認証することから始め、次に、イントロスペクション呼び出しを通じて利用可能なAPIを体系的に探索します。各ステップには、次のアクションに関する明示的な推論、APIが期待に沿わない場合のエラー処理（エージェントが「rename_file」関数を見つけられず、「move_file」を代わりに使用して適応する場合など）、および複数のファイル操作にわたる状態の維持が含まれます。 この軌跡は、エージェントが日付と時刻の複雑な解析を処理し、ファイルコレクションを反復処理し、データの整合性を維持しながら異なるディレクトリ構造にわたる操作を調整する能力を示しています。決定的に重要なのは、環境がタスク実行が成功したかどうかについて検証可能な情報を提供することであり、これにより強化学習フレームワークは、各ステップで人間による評価を必要とせずに、具体的で測定可能な結果を通じて学習することができます。さらに、報酬は最後のターンでのみ収集され、このスパースな報酬収集は、類似の方法と比較して大きなパフォーマンス上の利点を提供します。 結果と洞察 以下の統合表は、比較的小さなモデルに比較的小さなトレーニングデータセットが適用された場合でも、強化学習が多様なユースケースにわたるエージェントのパフォーマンスを大幅に向上させることができることを示しています。 ベースモデルパフォーマンス RLトレーニング後パフォーマンス パーソナルアシスタントエージェント Qwen2.5-32B-Instruct 72% (vs. Sonnet 3.7/4.0 ~69%) タスク目標完了 Qwen2.5-3b-Base Llama-3.2-3B-inst 以下は、私たちの実験的知見のいくつかです： より大きなベースモデルは、RLトレーニングによる絶対的なパフォーマンスの向上が大きくなります。これはおそらく、トレーニング中により高品質なロールアウトを生成し、RLプロセスを強化する正のフィードバックループを作り出すことに起因しています。 ますます能力の高いベースモデルにオンラインRLカスタマイズを適用することで、現在のプロプライエタリモデルによって確立されたベンチマークを超えるパフォーマンスが引き出される可能性があります。これらのプロプライエタリモデルは、ベースモデルよりもしばしば数倍大きく複雑です。 小規模なRLトレーニング（AppWorldでは72例）で、コストの1％から2％でプロプライエタリモデルに近いパフォーマンスを達成することは、モデルカスタマイズの経済性における根本的な変化を示しています。場合によっては、オンラインRLは最初のトレーニングステップから即効性を示し、30ステップ以内に競争力のあるパフォーマンスに急速に進展します。 RLトレーニングはまた、コードを書く前に常にAPIドキュメントをチェックするなど、有用である可能性のある特定の行動の改善を引き起こし、コードエラーの減少につながります。モデルはまた、

強化学習によるマルチターンAIエージェントのカスタマイズ

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト