AI に信頼性を組み込む

Amazon では、AI は倉庫の物流からカスタマーサービスのチャットボット、さらに数千の企業が利用する AWS クラウドサービスに至るまで、あらゆる分野に浸透しており、ビジネス上不可欠な技術となっています。したがって、Amazon が開発・展開するモデルは可能な限り安全で公平かつ堅牢であることが極めて重要であり、責任ある AI（RAI）はオプションの付加機能ではなく、必須の要素です。Amazon の人工一般知能（AGI）組織におけるシニアサイエンスマネージャー兼 RAI リードを務める Rahul Gupta は、「責任は製品設計の初日から組み込まれている」と述べています。Amazon の安全性と責任へのコミットメントは、生成 AI ブームが起きるずっと以前から存在しています。Gupta と彼のチームの研究者たちは Alexa AI 組織で活動しており、同社では「RAI をどのように実施すべきかを定義する能力を培ってきました」。彼が振り返るところ、焦点は RAI の方針と実装、およびその有効性を評価する方法の開発にありました。Amazon が独自の大型モデルの構築を開始すると、Alexa から得られた RAI の専門知識が貴重なリソースとなりました。Amazon のポリシーチームと連携し、AGI の科学者たちは、モデル開発の 4 つの段階——事前学習（pretraining）、事後学習（post-training）、評価、第三者による監視——に対応する RAI パイプラインを構築しました。各段階において、研究者たちは信頼できるシステムが状況やアプリケーション、地理を超えてスケールして適応できるようにするために、それぞれ固有の課題に取り組んでいます。この枠組みに基づき、Amazon は 70 以上の社内および外部向け RAI ツールを開発し、500 本以上の研究論文を資金提供または発表し、従業員に対して数万時間にわたる RAI に特化したトレーニングを提供してきました。Amazon の RAI に対するアプローチは三本柱から成り立っています：リスクが顕在化する前に予測する、モデルに不確実性をナビゲートさせる方法を教える、そして政府の移行や著名なインシデント、新たな規制、その他の社会変化に適応できるシステムを構築する。以下は、このアプローチを実践している Amazon の責任ある AI チームおよびポリシーチームに所属する科学者たちです。それぞれが AI ライフサイクルの異なる段階に取り組んでいます。 基礎の教育：事前学習 Chentao Ye は AGI RAI チームのシニア応用科学者で、LLM（大規模言語モデル）トレーニングにおける最も初期の段階である事前学習を担当しています。この段階では、モデルが一般的な言語能力を習得します。Ye によれば、Amazon のポリシーチームが設定した方針に適応するために必要な情報をモデルに持たせるためにも、この段階で RAI に取り組むことがますます重要になっています。「事前学習は、私たちが RAI の最も基本的な概念を教える段階です」と Ye は述べています。「子供に世界について教えるようなものであり、彼らがある程度の判断を下すことを期待する前の段階です。」通常、事前学習には大量の公開データが使用されますが、RAI チームは安全性、セキュリティ、公平性の原則を植え付けるために特別に設計されたデータセットでそのデータを補完しています。これらのデータセットは膨大かつ多様であり、社内および公開の RAI ガイドライン、ベストプラクティス、RAI 関連のニュースやインシデント、化学・原子力工学やコーディングセキュリティなどのドメインに関する情報、テキスト、音声、画像などを含む「豊かな食事」です。また、モデルがグローバルで多言語対応となるように、異なる言語や文化からの情報もコーパスに含まれています。 この一連の情報をモデルによりよく取り込ませるために、研究者たちは学習課題（トレーニングタスク）を作成します。「データがあるだけでは不十分です。モデルがそれを効果的に処理し理解できるように支援する必要があります」と Ye は説明します。例えば、Ye と彼の同僚たちはプライバシーに関するポリシー文書を取り上げ、プライバシー概念の説明、コンプライアンスに関する質問への回答、特定の行動がプライバシーガイドラインに違反するかどうかの判断など、複数の学習課題に変換します。これらの多様なタスクは、モデルが RAI の原則についてより深く、より微妙な理解を発達させるのに役立ちます。 もう一つの活発な研究領域は、トレーニングコーパス内の潜在的に有害なコンテンツをどう扱うかです。「単にすべてをフィルタリングすればよいわけではありません」と Ye は説明します。「事前学習中に特定の有害な概念に一度も遭遇していないモデルは、それらを敏感なものと認識できず、事後学習におけるガードレールが効果的ではなくなります。」チームは、フィルタリングされたコンテンツに教育的文脈を追加して再導入するアプローチを探っています。つまり、有害性がどのようなものか、なぜ避けるべきかを教えることで、モデルを完全に無知のままにしないようにしています。 RAI の習得に加えて、もう一つの焦点領域は「RAI モダリティアライメント」と呼ばれるものです。LLM は、遭遇するすべてのモダリティ（テキスト、画像、音声など）に対して RAI の原則をどのように適用するかを理解する必要があります。Ye によれば、モダリティアライメントは、他のモダリティをテキストと共有する意味空間にマッピングするものであり、テキストは通常より入手しやすいものです。例えば、大学教科書には高リスクの化学・生物・放射線・核物質（CBRN）の図と、同じ概念に関するテキスト説明が含まれている場合があります。チームは、データを同じ空間に効果的にエンコードするためのさまざまな LLM タスクを設計しています。 Ye によれば、もう一つの活発な研究領域は、事前学習の品質を検証する多様な手法を開発することです。チームは二つの補完的なアプローチを採用しています。一つ目は、モデルが実際に事前学習中に RAI の知識を獲得したかどうかをテストするものです。「私たちはパープレキシティ（perplexity）のような指標を使用します」と Ye は説明します。これは確率分布がいかに良く特定のサンプルを予測するかを定量化するもので、「モデルが特定の RAI ドメインでコンテンツを生成できる能力の良さを測定するために用います。」二つ目のアプローチは、後続の評価課題で現れる可能性のあるスパース（希少）な質問に対するモデルの応答方法をテストするものです。ここで期待される応答——拒絶や回避など——は事前学習中に明示的に教えられていません。「これにより、事前学習で得た RAI の知識が、限られた例や指示だけで現実世界のシナリオに一般化できるかどうかをテストできます」と Ye は述べています。 事後学習：人間フィードバックからの強化学習（RLHF） モデルが指示に従い、有益かつ無害な応答を生み出す方法を学んだ後、人間フィードバックからの強化学習（Reinforcement Learning from Human Feedback: RLHF）へと進みます。このモデル開発の段階を率いるシニア応用科学者の Charith Peris と、応用科学者の Yao Ma は、RLHF が人間のフィードバックや好みの比較を用いてモデルに判断力を身につけさせることに焦点を当てていると説明します。「RLHF は、ファウンデーションモデルが人間が期待する行動と整合するようにするために実施されます」と Peris は述べています。このトレーニング段階では、クエリに対する応答が事前に設定された基準にどれだけ合致するかに基づいてモデルに報酬が与えられます。これらの報酬は、さまざまな応答検証システムによって提供されます。一つのアプローチは、人間がランク付けした出力を基に訓練されるいわゆる補助的報酬モデル（auxiliary-reward models）を使用するものです。責任ある AI の観点では、この段階でモデルを最適化し、「ポリシー準拠」の応答——Amazon のポリシーチームが策定したルールやガイドラインに沿ったもの——を生成できるようにします。「適切な報酬を提供することは RLHF において重要な部分です」と Ma は述べています。 一つのケースでは、コアモデル自体を使用して、さまざまな安全でないおよび境界的なクエリに対する複数の応答を生成します。これらの応答は、その有用性とポリシー準拠性に基づいて人間によってランク付け・評価され、その後補助的報酬モデルの訓練に使用されます。もう一つの応答検証アプローチでは、独立した LLM をジャッジとして使用します。モデルはトレーニングセット内の各プロンプトに対して応答を生成し、この応答と、応答がポリシー準拠となるための基準（ルブリック）のセットがジャッジに渡されます。その後、ジャッジに応答がルブリックにどれだけ合致しているかに基づいてスコアを提供するよう指示します。補助的報酬モデルとジャッジベースのシステムの両方を個別に、または組み合わせて使用して RLHF 報酬を提供できます。 モデルの評価は二つのフェーズで行われます：トレーニング中とトレーニング後です。最初のフェーズでは、重要な機能全体のパフォーマンスに関する方向性を示す軽量ベンチマークを使用して、頻繁かつ短時間ごとにモデルがテストされます。二つ目のフェーズでは、保存されたチェックポイント（トレーニングの特定の時点におけるモデルの状態とパラメータの完全なスナップショット）が、より広範なテストデータセットに対して体系的に評価され、どのチェックポイントが最も優れた全体的なパフォーマンスを達成したかを特定します。 行動のチェック：評価 評価チームの主要な焦点の一つは、不適切で安全でない、またはポリシー違反の応答を引き起こすような頑健なプロンプトコレクションである「モデル破壊用データセット」を構築することです。「モデルは月を追うごとに改善されています」と Amazon AGI のシニアサイエンティスト Jwala Dhamala は述べています。より大きく、より良い責任ある AI データセットがその大きな役割を果たしていると言います。また、複数のモダリティや地域にわたる責任ある AI 原則のモデルへの取り込み度を捉えるための改善されたメカニズムも重要です。Dhamala によれば、Amazon のポリシーチームと緊密に協力することが RAI 評価を開発する上で鍵となります。 Amazon の RAI 活動には八つの柱があります：プライバシーとセキュリティ、安全性、公平性、真実性と堅牢性、説明可能性、制御可能性、ガバナンス、透明性です。「各柱について、モデルが責任ある AI ポリシーに違反する何かを出力してしまうようなテストに焦点を当てています。同時に、モデルが過度に拒絶しているか、あるいは良性の要求に対して応答しないかどうかをテストすることにも注力しています」と Dhamala は説明します。 データはあらゆる場所から集まります：モデルを破壊しようとする「レッドチームメンバー（red teamers）」と呼ばれる人間の専門家、外部セキュリティパートナー、大学の公開ベンチマーク、そして現実世界の課題が有機的に表面化するソーシャルメディアなどです。Dhamala によれば、RAI チームは事前学習から事後学習、すべてのサポート構造が取り付けられたデプロイ前まで、モデルトレーニングおよびデプロイサイクル全体を通じてモデルを評価します。各段階にはそれぞれ特別に設計された評価プロセスがあり、モデルがエンドユーザーに近い後期の段階ではより多くのテストが行われます。「データセットを集め、評価し、新しいデータセットを集め、再度評価します」と Dhamala は述べています。彼女はまた、チームは現在、評価プロセスの自動化をさらに進めていると付け加えました。また、研究の新たな領域にも取り組んでいます。 数週間や数ヶ月にわたる多くの行き来を必要とする会話における欺瞞（ロング・ホライズン・インタラクションとも呼ばれる）が懸念事項として浮上していますが、それを検出するための確立されたベンチマークは多くありません。それらを作成するには、異なるロング・ホライズンの文脈全体で欺瞞が何を意味するかを理解する必要があり、その理解は社会科学研究に基づいています。 もう一つの未開拓の研究領域は、新興する責任ある AI リスクを評価するための自動レッドチームングフレームワークです。このアイデアは、自律的なエージェントまたはエージェントのシステムが、望ましくない行動を引き起こそうとして競合または協力するというものです。 第三者との協力：フロンティアリスク RAI 活動の大部分が一般的な誤用のパターンに対処する一方で、AGI のシニア応用科学者 Tong Wang は、異なるカテゴリのリスク——「システム全体を崩壊させる可能性のあるシステム的リスク」、すなわちフロンティアリスク——に焦点を当てています。これには、AI モデルを使用して化学・生物・放射線・核（CBRN）攻撃の研究やサイバー攻撃の研究・実行が行われるケースが含まれます。これは、AI の能力が非専門家によって壊滅的な被害を引き起こすことを可能にするシナリオです。 フロンティアリスクに対する評価プロセスは非常に厳格です。まず、自動化されたベンチマークでモデルが危険な知識を獲得したかどうかをテストします。特定の閾値——大量破壊兵器に関する質問に懸念される精度で回答するなど——を超えると、人間のレビューがトリガーされます。関連分野の第三者専門家が、モデルが安全境界線を越えたかどうかを評価します。そしてこのプロセスは継続的です：各モデル更新ごとに、チームは新モデルの能力を以前のモデルと比較します。「非常に注意深くある必要があります」と Wang は述べています。「偽陽性と偽陰性の両方にコストがかかります。」 公開モデルの場合、特定されたリスクはガードレールによって緩和されます。特定のトピックについて特定のレベルの詳細さで質問した場合、モデルは単に応答しません。しかし、正当な研究者——関連する専門知識と適切な監督を持つ大学や研究所の科学者たち——は、研究のために制限された情報へのアクセスを必要とする場合があります。Wang のチームは、これらの信頼できるユーザーに対して「厳重な監視付きの特別アクセス」を提供するメカニズムを探っています。 そのメカニズムには、Wang が「設定可能性（configurability）」と呼ぶものが含まれます。具体的には、低ランク適応子（LoRA）などの技術を使用して、モデル全体を再学習することなく、特定のユースケースに対してモデルの行動に外科的な変更を加えるものです。「ベースモデル自体に触れないように設定を追加します」と彼は言います。「10 億のパラメータを再学習するのではなく、数個だけです。」 今日、このアプローチはすでに特定のコンテンツポリシーで利用されています。しかし、CBRN などのフロンティアリスクに拡張するのはより困難な問題であり、データ収集と計算コストの両方が大幅に高くなります。「どのアプローチが最も効果的かを研究している未開拓の研究領域です」と Wang は指摘しています。 合意された価値観：ポリシーの策定 「私たちはモデル開発ライフサイクル全体を通じて Amazon のサイエンスチームとパートナーシップを築いています」と、責任ある AI ポリシーおよび製品チームのリーダーである Claire O'Brien Rajkumar は説明します。プロセスは、画像生成モデルか大規模言語モデルかなど、製品チームが立ち上げようとしているものを理解することから始まり、Amazon の責任ある AI に関する八つの主要次元に対して潜在的な危害をマッピングすることから始まります。例えば、画像ジェネレーターを構築する前に、チームはディープフェイク、バイアスの増幅（例えば、医師を白人男性のみとして描く画像）、または不快なコンテンツの生成を試みる試みなどのリスクを予測します。 特定されたリスクは、開発中のモデルの行動境界を定義する具体的なポリシーに変換されます。これらのポリシーは、「後方から働くガイドライン」となり、O'Brien Rajkumar によれば、モデル構築中のすべての後の決定に情報を提供します。例えば、白人男性の医師のみを示す可能性のある単一のベンダーから画像を取得するのではなく、チームは現実世界の複雑さを反映した多様なデータ収集を確保します。 Amazon のポリシーは、業界動向、顧客からの要望、規制、法的要件（特に著作権とコンテンツライセンスに関するもの）などの要因によって形成されています。チームは、規制が不十分な分野でベストプラクティスを確立するために競合他社と協力する Frontier Model Forum や Partnership on AI などの業界団体にも積極的に参加しています。 学術パートナーシップは、ベンチマークの開発や Amazon Nova AI Challenge の「Trusted AI」トラックへの参加などを通じて、新興リスクの特定に役立ちます。ここでは大学生が Nova モデルのセキュリティ脆弱性とそれに対する修正策を特定するために競い合います。 顧客フィードバックは、LLM を使用したセキュリティテストなどの正当なユースケースに対する例外を設けるなど、実用的なポリシー決定に影響を与えます。これは一般的なポリシーでマルウェア生成を禁止している場合でも同様です。 ポリシーチームは、法務、公共政策、製品、セキュリティ、RAI の専門家を含む横断的なワーキンググループを通じて運営されています。EU AI 法やカリフォルニア州 AI 透明性法などの規制の進展が直接ポリシーの進化に影響を与えます。「これらは生きている、呼吸するものです」と O'Brien Rajkumar は指摘し、社会が特定の AI リスクに対してより快適になるか、あるいは不快感を抱くようになるにつれてポリシーも適応しなければならないことを認めています。 ポリシー開発や具体的な責任ある製品ガイドラインを超えて、チームは AI セーフガードの実装を管理し、社内専門家と第三者ベンダーの両方を使用してレッドチームング運用を監督しています。また、モデル出力の手動レビューを実施して現実世界のリスクを評価します。「これらは高度な判断を要する決定であり、ポリシー違反となるかどうかの境界線上で作業しています」と O'Brien Rajkumar は述べています。「各ポリシーが実際に何を意味するのかを本当に理解する必要があります。」

AI に信頼性を組み込む

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト