どのエージェントがタスク失敗を引き起こし、いつか？PSUとDukeの研究者はLLMマルチエージェントシステムの自動失敗帰属を探究

「Share My Research」は、Synced が運営するコラムで、150 万人を超える世界の AI エンタジストに向けて、研究者が自身の研究の画期的成果を共有できる場を提供しています。技術的な進歩だけでなく、このコラムでは研究背後にある興味深い物語や、魅力的な研究アイデアも歓迎します。お問い合わせ先：chain.zhang@jiqizhixin.com

著者紹介

所属機関：ペンシルベニア州立大学、デューク大学、Google DeepMind、ワシントン大学、Meta、南洋理工大学、オレゴン州立大学。共筆第一著者は、ペンシルベニア州立大学の Shaokun Zhang とデューク大学の Ming Yin です。

近年、LLM マルチエージェントシステムは、複雑な問題解決における協調アプローチにより広く注目を集めています。しかし、これらのシステムが活発に活動しているにもかかわらずタスクで失敗することはよくあるシナリオです。これにより開発者にとって重要な疑問が生じます：どのエージェントが、いつの時点で失敗の原因となったのか？膨大なインタラクションログから根本原因を特定しようと試みることは、干し草の山の中で針を見つけるようなものであり、時間と労力を要する作業です。

これは開発者にとってよくある不満です。ますます複雑化するマルチエージェントシステムにおいて、失敗は単に一般的であるだけでなく、エージェント間の自律的な協力や長い情報チェーンのために診断が極めて困難です。失敗の原因を迅速に特定する方法がない場合、システムの反復や最適化は頓挫してしまいます。

この課題に対処するため、ペンシルベニア州立大学とデューク大学の研究者らが、Google DeepMind を含む複数の機関と協力し、「自動失敗帰属」という新たな研究問題を提起しました。彼らはこのタスクのための最初のベンチマークデータセット「Who&When」を構築し、いくつかの自動帰属手法を開発・評価しました。この研究は、タスクの複雑さを浮き彫りにするだけでなく、LLM マルチエージェントシステムの信頼性を高めるための新たな道筋を示すものです。

本論文は、機械学習の最上位カンファレンスである ICML 2025 のスポットライト発表として採択され、コードとデータセットは現在完全にオープンソース化されています。

PSU と Duke の研究者らが、大規模言語モデル（LLM）マルチエージェントシステムの自動化された失敗原因特定について探求しています。