AI の委任と長期信頼性に関する研究への追加ノート

私たちの最近の論文「LLMs Corrupt Your Documents When You Delegate」は、委任されたワークフローにおける AI システムの信頼性について議論を呼んでいます。この研究への関心に感謝するとともに、本論文が主張する内容と主張しない内容について、いくつか重要な点を明確にしたいと考えています。 本研究の目的は、長期にわたる委任および協調タスクに対する堅牢な評価手法を開発することです。より広く言えば、この取り組みは、強力なベンチマークでのパフォーマンスと特定の現実世界のタスクとの間のギャップをよりよく理解するための継続的な努力の一環です。統制された評価方法論を用いて、これらの拡張されたワークフロー全体で情報がどの程度保持されるかを検討します。この制限された設定内では、モデルが繰り返しの編集を通じて忠実度の低下を蓄積する可能性があることを観察しました。ただし、現在の生産システムは、検証ループ、オーケストレーション（調整）、およびドメイン固有のツールを用いてこれらの影響を緩和できることに注意してください。 私たちの目的は、専門的なワークフローにおける AI システムの使用に反対することではなく、現在のシステムがより信頼できる協力者となるために、さらに研究とエンジニアリングが必要な領域を特定することです。このベンチマークは、モデル全体の能力、タスクの成功、またはユーザーの結果を測定するものではなく、委任パターンを検査するための診断ツールとして意図されています。 主な結果 本論文は、私たちが「委任された作業」と呼ぶ特定の相互作用パターンを評価するものです。これは、ユーザーが AI システムに文書、スプレッドシート、コード、または構造化ファイルといった重要なアーティファクトに対して多段階の変更を行うことを委ねる状況であり、各ステップ間での人間の検証は限定的です。 私たちは、意味内容が拡張された委任ワークフロー全体で正確に保持されているかを評価するために、連鎖的な変換および反転タスクを使用します。当社の評価では、ドメイン固有の意味解析を用いて、表面的な書式やスタイルの違いではなく、基盤となるアーティファクトに対する意味のある変更へと焦点を当てています。したがって、私たちが報告するエラーは、基盤となる意味内容の劣化に対応しますが、「破損」の測定にはタスク完了やユーザー満足度は含まれていません。 この手法を用いると、現在の最先端モデルは長期にわたるワークフローにおいて、希薄ではあるが重大な影響を及ぼすエラーを引き起こし、これらのエラーは繰り返しの相互作用を通じて蓄積する可能性があることがわかります。評価された設定全体を通じて、強力な最先端モデルでも、20 回の委任反復を経てアーティファクトの忠実度が約 19〜34% 劣化することが示されました。特筆すべきは、Python ワークフローは拡張された委任相互作用の下でより強い堅牢性を示し、平均して 1% 未満の劣化にとどまったことです。 Spotlight: Microsoft research newsletter ![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2019/09/Newsletter_Banner_08_2019_v1_1920x1080.png) Microsoft Research Newsletter Stay connected to the research community at Microsoft. Subscribe today Opens in a new tab Methodological limitations DELEGATE-52 は、長期にわたる委任実行に対するストレステストとして意図的に設計されました。このベンチマークは、システムが変換と逆変換の拡張されたシーケンス全体を通じてアーティファクトの完全性を維持できるかを評価するものです。 本研究は、ステップ間の人間の介入を限定的とした委任実行に特化して焦点を当てています。多くの場合、より厳格な監督、検証、およびワークフロー構造を伴う現実世界の AI 展開の全範囲を測定しようとするものではありません。 本論文ではまた、Python の実行やファイル操作などのツール使用機能を備えた簡略化されたエージェント型ハネスも評価しました。この設定は観察された劣化を排除するものではありませんが、特定のワークフローやエンタープライズドメインに最適化された生産グレードのシステムを代表するものとして解釈すべきではありません。 Implications 我々は、本研究の主な示唆は、信頼性の高い長期委任実行が依然として重要な未解決の研究課題かつエンジニアリング上の挑戦であるという点にあると考えています。 結果は、短期的なベンチマークでの優れたパフォーマンスだけでは、拡張されたワークフローにわたる信頼できる委任実行を保証しない可能性を示唆しています。同時に、これらの知見は、今日の現実世界の業務において AI システムが実用的価値を欠いているという証拠として解釈すべきではありません。 実際には、多くの導入済み AI システムは、モデルに特化したハネス（harness）、オーケストレーション層、検索システム、検証手順、メモリ機構、そして人間の監視を組み合わせており、これらは根本的なモデルの限界にもかかわらず信頼性を高め、有用なユーザー成果をもたらすように設計されています。私たちは、モデル自体の継続的な改善、ワークフローを認識したトレーニング、メモリシステム、および本番環境向けのエージェント型ハネスが、時間とともにこれらの失敗モードをさらに減少させると期待しています。 新しいタブで開きます：「AI 委譲と長期信頼性に関する最近の研究への追加ノート」は、Microsoft Research の投稿として最初に掲載されました。

AI の委任と長期信頼性に関する研究への追加ノート

背景や根拠まで確認しますか？

調べる

選ぶ

サイト