マルチエージェント LLM システムにゲーム理論に基づく二層協調反射手法を提案

マルチエージェント LLM システムでは、オーケストレーターがタスクを分解してワーカーチームに割り当て、その後テキストによる反省を通じて改善を図る手法が一般的です。しかし、これらのシステムは、調整（coordination）、記憶の向上、そして外部検証の役割に関する統一的な説明を欠いています。

本研究では、オーケストレーターとワーカーの相互作用を二層協調ゲームとしてモデル化します。結合が限定的な条件下では、ワーカーの局所更新ゲームは近似ポテンシャルゲームとなり、その均衡の余剰（equilibrium slack）はタスク分解の品質によって制御されます。さらに、反省を意味的記憶状態上の確率的移動として分析します。

自由形式の反省については、有限時間における上限値を導出し、最悪ケースでの厳密性を証明するとともに、反証可能な恒久的有害性（persistent-harm）条件の下で正の下限値を与えます。さらに情報理論的な不可能性の結果も証明しました：生成されたトランスクリプトのみを観察するゲートでは、テキスト的に区別できない環境全体で一様に改善することはできず、環境に根ざしたゲートであれば可能です。

この分離に基づき、本研究は「確率的反射記憶上昇（SRMA: Stochastic Reflective Memory Ascent）」を提案します。これは、評価リスクが厳密に減少した場合のみ候補となる記憶を受け入れる手法です。較正と非退化する修正質量の条件下で、SRMA は正確に収束し、その収束速度は幾何級数的または多項式的になります。対応する構成例により、両方の収束速度 regime がオーダー的に厳密であることが示されています。

また、確率的評価に対する信頼性ゲートと、断片的定常環境における再アンカーリング保証も提供します。

これらの実験では、環境に根ざした指標を用いてオブジェクトを具体化し、予測された調整法則とドリフト法則を検証します。SWE-bench の 500 インスタンスにおいて、完全な Kimi ベースのシステムは 72.2% を解決し、これはパブリックミニ SWE-agent リファレンスの 70.8% を上回っています。

コード: https://github.com/YihangChen9/Bilevel-Coordinated-Reflection