エージェント間相互作用中のトークンIDの記録による強化学習の改善

記事の3ポイント

1. 1

   強化学習における記録の不整合問題

   従来のトランスクリプトではフォーマットの違いによりトークンIDが変化し、モデルが実際に経験した履歴と最適化対象の履歴に乖離が生じる課題を指摘している。

2. 2

   Turnstile の機能と仕組み

   エージェントハネスとバックエンドシステムの間に位置する軽量なプロキシツールであり、生成直後の正確なトークンレベル履歴を記録して汎用フォーマットで出力する。

3. 3

   実証実験における性能向上

   テキスト専用コーディングエージェントとマルチモーダルコンピューター使用エージェントの両方で、ハネスを変更せずにデータフローのみを導入した結果、学習信号が確実に伝播し性能が向上した。