LLM エージェントの学習データ生成における ACE レンズの重要性

LLM エージェントは、外部環境との相互作用を学習するために生成されたインタラクションデータに依存するようになっています。エージェントデータの生成においては、環境・タスク・インタラクション・成功シグナルの一貫性を保ちつつ、単に量が多いだけでなく実用的な経験を産出する必要があります。既存の研究は多様なエージェントドメインにまたがっていますが、ドメイン中心の整理や異種評価により、共通する生成メカニズムが見えにくくなり、候補の構築と検証・選別が混同されがちです。

本研究では、この分野に向けた二段階の枠組みを提案します。第一に、エージェントデータを共通の因数分解されたオブジェクト (E,q,τ,v) として表現します。これは環境仕様、タスクシグナル、インタラクションの実現、そして任意の検証器から構成されます。また、生成パラダイムはそれらの主要なアンカーと依存構造に基づいて整理します。

第二に、生成を「精度・複雑性・多様性（ACE）」のレンズを通して制約付き分布設計として定式化します。精度は、接地されたデータおよび内部的に一貫したデータの可能な範囲（サポート）を確立します。このサポート内において、複雑性は宣言された学習者や実行構成の能力に対する学習負荷の量を位置づけ、多様性はデータの被覆範囲と冗長性を制御します。

この枠組みを用いて、先行研究が生成された経験をどのように検証し、難易度を構築・調整し、行動のカバレッジを拡張しているかを考察します。

既存の文献は、実行に基づく精度や学習者相対的な複雑さ、表面の変動やデータセット規模を超えた多様性へと焦点が移っていることを示しています。さらに、ACE のレンズを通じて、スケーリング、データソース、トレーニング手法、適応的学習への影響を含め、エージェント型データ生成のより広範な方向性と新興トレンドについて議論します。全体として、中心的な課題は単にデータを増やすことではなく、エージェントと環境が進化する中で、有効で情報量が多く、重複しない経験を継続的に割り当てることにあります。