信頼性の高いAIエージェント構築における見えない作業

**信頼性の高いAIエージェント構築に隠された仕事** 「強化学習ジム」は、顧客の要求を実行するために連鎖させる必要がある数多くの低レベルタスクでエージェントを訓練する。 AI開発者に、エージェントがあなたのために何をしてくれるか尋ねると、その答えはしばしば旅行パンフレットのように聞こえる：飛行機を予約し、ホテルを見つけ、夏休みの計画を立ててくれる。それは魅力的なイメージだ――目に見えないコンシェルジュが、あなたがコーヒーをすすっている間に、努力せずに旅程を縫い合わせている。 しかし、アマゾン内部では、研究者たちは、大きなことが起こる前に、無数の小さなことがうまくいかなければならないことを知っている。一例を挙げよう：AIが休暇の計画を立てる前に、それはスクロールすることを学ばなければならない。 それはスクロールする方法を学ばなければならない…そしてクリック…そしてタブ移動…そしてポップアップの背後に隠れた日付を選択…そしてフォームが黙ってリセットされたときに回復…そしてカレンダーウィジェットとドロップダウンを区別…そして別のフィールドを上書きせずに、フィールドに正確に一度だけ再入力…そして2004年以来再設計されていないロイヤルティポータルをナビゲートすることを学ばなければならない。 「私の夏休みを予約して」という単一のコマンドは、旅行サービス全体で何百ものマイクロインタラクションを引き起こす：数十年も前のインターフェースをまだ実行している航空会社の予約システム；一貫性のない使用パターンを持つホテルの在庫管理ツール；クレジットカード認証レイヤー；ロイヤルティプログラム；決済基盤；モバイルでの確認；ブラウザベースのフォームの背後に埋もれたコンプライアンスチェック。魔法のような消費者の瞬間が可能になる前に、あらゆる小さなアクションは――信頼性高く、決定的に、毎回――成功しなければならない。これが、AIエージェントの物語と、それを構築する現実との間のギャップである。 アマゾンでは、ありふれた詳細は後回しにされるものではない。それらは基礎なのだ。現実世界でうまく機能するためには、エージェントはまず一連の原子的な振る舞いを習得しなければならない。内部的には、これを「ノームコア・エージェント」の構築と表現することがある：実際のソフトウェアの信頼性の高い運用を支える、非常に単純で、非常に退屈なインタラクションに並外れて優れるように訓練されたシステムのことだ。 それらの原子的な振る舞いを習得するには多くの練習が必要であり、それがアマゾンの人工汎用知能（AGI）ラボが、エージェントがスキルを磨くことができる高忠実度の強化学習（RL）「ジム」のエコシステムを構築している理由である。アスリートが制御された条件下で基本的な動きを繰り返すことで体幹の安定性を築くのと同じように、エージェントは、繰り返し可能で計測されたシナリオの中で、最も小さなインタラクションの単位を練習することで信頼性を発達させる。 実際のウェブシステムの煩雑さを反映するように設計されたジムは、スキルを分離し、変化させ、負荷をかけ、測定する。最終的な結果は、エージェントの基盤――エージェントの一群が現実世界のアプリケーションでドメイン固有の効率性を構築できる、能力の共有基盤――である：配送や予約のために住所を利用可能にするフォーム入力；運賃、特典、またはオプションが適用されるかどうかを示すドロップダウン選択；取引が有効で検証可能な最終状態に到達することを保証する多段階ワークフロー。 現在、アマゾンAGIラボは、数十のアプリケーションドメインと数千の個別タスクにまたがるジムでエージェントを構築・訓練しており、さらに開発中のものもある。これらのジムは、エージェントに休暇を予約する方法だけを教えるのではない。それらは、タスクの下にある予測不可能な地形を生き延びる方法を教える。ウェブインターフェースについて推論する方法。エラーを検出し回復する方法。人間は許容するが機械はしばしば誤解するレガシーシステムと対話する方法。人間がコンピュータ上で行うことを何でもできるエージェントを構築するために、私たちのチームは、人間が本能的に乗り越えている曖昧さを処理することをエージェントに教えなければならない。 もしエージェントが夏休みを予約するまでの道のりが、何百もの小さく失敗しやすいステップを通るならば、私たちを空港まで連れて行く自動運転車は、さらに容赦のない環境に直面している。だから、アマゾンのAGIラボ内部のエンジニアや研究者の一部が自動運転車の世界から来ているのは偶然ではない。彼らは、「ほぼ正しい」が「安全ではない」と区別がつかない環境、「一瞬は完璧に動作し、次の瞬間には黙って失敗するシステムは配備に適さない」環境で何年も過ごしてきた。自動運転車において、正しさは確率的ではない。システムは毎回、毎回、正しくなければならない。 その考え方は今、私たちのラボがエージェントAIにどのようにアプローチするかを形作っている。エージェントは単に出力を生成するだけではない。それらは稼働中のシステム内部でアクションを起こす。データベースに触れ、トランザクションを開始し、システム状態を変更する。そして、モデルの出力が世界における実際の変化であるとき、信頼性は交渉の余地のないものになる。 その基準を満たすために、エージェントは言語モデルができない何かをしなければならない：システムがそのアクションに正しく応答したかどうかを判断することだ。それは、エージェントが本質的に正しさを知っているという意味ではない。それは、トレーニング環境が、エージェントが試みたことと実際に起こったことを比較し、結果が曖昧だったり承認を必要とする場合に人間にエスカレーションしたり委譲したりできるようにするのに十分なグランドトゥルース――ドキュメントオブジェクトモデル（DOM）構造、UIのタイミング、ネットワーク動作、バックエンドの状態遷移――を明らかにすることを意味する。 ここで形式的検証器が登場する。ジム内の各タスクは、成功した完了がどのようなものかを正確に定義する仕様によって固定されている。それは、要求される最終状態、それを生み出すことが許容されるバックエンドの変更、そして決して発生してはならない変更を記述する。例えば、「Eメールを送信する」のようなワークフローは、ボタンがクリックされたように見えるからといって成功と宣言されるのではない。それは、データベースに正確に1つの新しいEメールレコードが存在し、無関係なレコードが作成、変更、削除されていないから成功と宣言されるのだ。 私たちのRLジムでは、これらの検証器はスコアリング関数の基礎である。エージェントは、環境が許可された正確な変更を反映し、禁止された変更が一つもない場合にのみ報酬を受け取り、「正しい」とは何かを示すシグナルを提供する。 エージェントは、これらの検証器を一度ではなく、タイミング、ネットワーク、UIの条件が変化する中で何千回も満たさなければならない。この繰り返される曝露――スキルを分離し、条件を変化させ、検証可能な結果を強制するように精密に設計されたRLジム内での――によって、孤立した成功が永続的な能力に変換される。エージェントがほぼ完璧な信頼性というその基準を満たしたときのみ、実際のワークフローを実行することを任せることができる。そしてそのときのみ、あらゆるアクションに結果が伴う本番環境で安全に動作できるのだ。 ノームコア・ワークアウト 現実世界のあらゆるワークフローを注意深く見ると、完璧に実行されなければならない小さなタスクが散らばっていることに気づくだろう。これらが、私たちのRLジム内部のノームコア・ワークアウトだ：エージェントが、大きなことを実現させる小さなことを学ぶ、集中した練習ルーティンである。いくつかの例を挙げよう： ワークアウト1：カレンダー安定性テスト 一貫性のないUIコンポーネントに対する堅牢性の構築 カレンダーアプリケーションでは、日付を選択するだけでも驚くほどの協調性を必要とする。ウェブ全体で、カレンダーは微妙に異なる方法で動作する：要素はズームの下で移動し、ウィジェットは他のUIレイヤーの背後に隠れたり、クリック中に再レンダリングされたりする。RLジムでは、これらのバリエーションは意図的に現れ、エージェントにウィジェットの現在の状態を認識し、それがずれたときに回復し、正確に一度だけ正しい日付を確定し――そして結果として生じるバックエンドの状態が正しいことを検証することを教える。この基礎的なスキルは、あらゆる場所のワークフローに適用される。

信頼性の高いAIエージェント構築における見えない作業

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト