忘却を教える：Amazon Novaによる選択的アンラーニング

基盤モデル（FMs）を導入する組織が直面する共通の課題があります。コンテンツモデレーションのために設計されたセーフガードが、正当でビジネスに不可欠なユースケースまで阻害してしまうのです。

例えば、成熟した表現を含むスクリプトを要約するメディア企業や、現実世界の脅威をシミュレーションするサイバーセキュリティ企業、機密性の高い証拠を処理する法務チームなどが、デフォルトのコンテンツモデレーション制御によって、かえって必要な情報を拒絶されてしまうケースがあります。セキュリティチームが従業員の意識向上トレーニングのためにフィッシングメールのサンプル生成をモデルに依頼した場合でも、防御的な意図があるにもかかわらず拒否される可能性があります。

これらのセーフガードはポストトレーニング時のアライメント（調整）過程でモデルが学習するため、プロンプトエンジニアリングだけでは克服できません。拒絶する傾向はモデルのパラメータに埋め込まれており、この行動を部分的に調整するには、モデルレベルでの標的型の変更が必要です。

本稿では、Amazon Nova のカスタマイズ可能なコンテンツモデレーション設定（CCMS）の背後にある新しい忘却技術「Reverse Direct Preference Optimization (rDPO)」を紹介し、これがモデル品質を維持しつつ過度な拒絶をどう減らすかを解説します。また、これらの選好最適化手法を実験に応用したい顧客向けのヒントも提供します。

Amazon Nova の カスタマイズ可能なコンテンツモデレーション設定 (CCMS) は、承認された顧客が 4 つの責任ある AI（RAI）の柱にわたってセーフガードを個別に調整できる仕組みで、この課題に対応しています。これら 4 つの柱とは以下の通りです。

• セーフティ：危険な活動、武器、規制薬物などへの対応
• 機密コンテンツ：汚言、ヌード、いじめなどの扱い
• フェアネス：バイアスや文化に関する配慮
• セキュリティ：マルウェアや悪意あるコンテンツへの対策

Amazon Nova は、子供への危害防止やプライバシー保護など、AI の責任ある利用に不可欠な非設定可能なコントロールも併せて実装しています。

CCMS の技術的基盤となるのは「アンラーニング（忘却）」という手法です。これはモデルの再学習をゼロからやり直すことなく、特定の学習済み行動をパラメータから選択的に除去する技術です。具体的には、Low-Rank Adaptation (LoRA) アダプターを訓練して、モデルが特定のポリシーに対して示す適合性を逆転させます。その結果、顧客が認めたポリシー領域ではコンテンツを生成しつつ、それ以外の領域では依然として適切に適合したカスタムモデルバリアントが完成します。

解決策

LoRA アダプターの訓練

CCMS は、コアモデルから特定の RAI ポリシーを学習させないために訓練された LoRA アダプターを提供することで機能します。顧客がこのアダプターをインポートすると、一意の Amazon Resource Name (ARN) で識別されるカスタムモデルが利用可能になります。

推論時には、このアダプターがコアモデルに対して、顧客が承認したポリシー領域内のコンテンツを拒否する方向へ誘導します。さらに、そのカスタムモデル ARN を使用する場合、Nova の出力モデレーションガードレールも顧客の承認済みポリシーに合わせて構成されます。

rDPO: 忘却のための新たなアプローチ

この忘却処理を効果的に行うことが、科学上の主要な課題です。モデルは対象となるポリシー領域内のコンテンツ拒否を停止しつつ、一般的な能力（指示従順、コーディング、数学）や、対象外領域におけるアライメントの維持を保たなければなりません。

単純な微調整アプローチでは、モデル全体の品質が低下するリスクがあります。

最先端の手法の一つに、Direct Preference Optimization (DPO) を基盤とする「Negative Preference Optimization (NPO)」があります。DPO は、参照モデルに対して望ましい応答を望ましくない応答よりも高く評価するようにモデルを訓練するアプローチです。これにより、モデルは望ましい応答へと近づきつつ、望ましくない応答からは遠ざかります。

NPO は、最適化の目的から正のサンプルを除去することで忘却を実現しますが、これは学習された回避行動から離れるようにモデルを訓練するに過ぎません。しかし、NPO には高品質な代替応答への誘導が含まれていないため、結果として出力品質が低下する恐れがあります。

これを解決するために開発したのが rDPO です。rDPO は DPO の目的関数におけるペアの順序を反転させます。単に忘却させるだけでなく、忘却すべき領域において高品質な応答を生成するように同時にモデルを誘導します。この二重の目的は、応答品質の向上をもたらすだけでなく、学習効率も改善し、収束に必要な最適化ステップ数を削減します。

以下に、DPO、NPO、rDPO の損失関数の比較を示します：

DPO（Direct Preference Optimization）の損失関数において、*yw* と *yl* はそれぞれ好ましい応答と好ましくない応答を指し、添字の *w* と *l* は「勝利」と「敗北」の意味を持ちます。この損失関数は、モデルが好ましい応答を好ましくない応答よりも高い順位で評価するように最適化します。

一方、NPO（Negative Preference Optimization）の損失では *yf* が忘却対象となる応答です。NPO はモデルに対して *yf* から遠ざかるように学習させます。rDPO では、*yt* が目標とする応答、*yf* が忘却すべき応答となります。rDPO の損失関数は、忘却対象から遠ざかりつつ、目標応答に近づけるようモデルを指導します。

本手法を rDPO と呼ぶのは、その訓練目的が元モデルのポストトレーニング段階で適用される DPO の逆方向にあるためです。

以下の図は、NPO と rDPO の学習ダイナミクスと評価データセット上での性能を示しています。

トレーニングのダイナミクスを見ると、rDPO の学習精度は約 30 ステップでほぼ 1 に収束する一方、NPO の学習精度はほとんど変化しません。また、rDPO の選択された応答（ターゲット応答とも呼ばれる）に対する学習報酬は増え続けるのに対し、NPO では減少し続けます。これは、rDPO がモデルの挙動をターゲット応答へと移行させる一方で、NPO は忘却対象の応答から離れさせてターゲット応答へ導くことが難しいことを示しています。おそらくその理由は、ベースモデルが強い RAI（責任ある AI）アライメントを持っており、安全な応答から離れるのが困難だからです。

評価データセットにおける NPO と rDPO のパフォーマンスにも同様の傾向が見られます。トレーニングのダイナミクスを示すプロットからは、rDPO が忘却性能において NPO よりもはるかに効率的であることがわかります。

カスタマイズパイプライン

以下の図はモデルのカスタマイズパイプラインを示しています。

このプロセスはデータ準備から始まります。ここでは、アライメント行動を忘却させたいターゲットポリシー領域を代表する一連のプロンプトを選定します。これらのプロンプトに基づいて、忘却用とターゲット用の応答を生成し、rDPO とその生成データを組み合わせてモデルを訓練します。トレーニングループが完了したら、LoRA アダプターをエクスポートしてサービス提供の準備を整えます。フルランク微調整と比較して学習効率が高く、推論コストも低いため、ここでは LoRA によるファインチューニングを採用しています。

結果

RAI カスタマイズ済みモデルの評価は、2 つの観点から行います。(1) 機密性のあるリクエストに対する過度な拒否（オーバーディフレクション）の削減、(2) 汎用機能の維持です。

拒否率とは、モデルが回答を拒否するプロンプトの割合を指します。ベースラインモデルにおいて、機密性の高いコンテンツに対して拒否率が高いことは、正当なリクエストまでブロックされていることを示唆しています。一方、カスタマイズ後に拒否率が低下すれば、モデルがそれらのリクエストを正常に処理できるようになったことを意味します。

以下の表は、5 つの評価カテゴリにおける拒否率を示しています。

その結果、すべてのポリシーカテゴリにおいて拒否率が大幅に低下しました。安全性に関する拒否は 86.51% から 32.77% に減少し、53.74 ポイントの改善が見られました。これにより、カスタマイズされたモデルは従来ベースラインが拒否していた安全関連のリクエストの大部分を処理できるようになっています。同様の改善は公平性（28 ポイント）、セキュリティ（46 ポイント）、機密コンテンツ（45 ポイント）でも確認されています。重要なのは、これらの成果がベースモデルの重みを変更することなく、rDPO でトレーニングされた LoRA アダプターによって達成された点です。

どの学習除去アプローチにおいても重要な要件は、モデルの汎用能力を低下させないことです。これを検証するため、カスタマイズ済みモデルを 3 つのユーティリティベンチマークで評価しました。それぞれ指示従順性、数学的推論（Math Mini）、コード生成（MBXP Python）です。

カスタマイズされたモデルは、すべてのユーティリティベンチマークにおいてほぼベースライン性能を維持しており、指示の追従では 1.55 ポイント、数学では 1.20 ポイント、コード生成では 1.80 ポイントのみ低下しました。これらの最小限の性能低下は、rDPO アプローチが RAI（責任ある AI）の整合性パラメータのみを正確にターゲットにしつつ、モデルの中核的な能力は損なわないことを裏付けています。これは、フルモデル微調整と比較した LoRA ベースのアプローチの重要な利点です。

始め方

本記事で説明する DPO、NPO、rDPO といった選好最適化手法は、ご自身で忘却や整合性に関する研究を探求したいお客様にも利用可能です。Amazon SageMaker AI は、Amazon Nova および 20 以上のオープンウェイトモデル に対して、フルランクと LoRA の両方のアプローチによる DPO 学習をサポートしています。また、Amazon SageMaker HyperPod では、カスタム忘却実験のスタート地点として活用できる用意された DPO レシピを提供しています。手順については、Direct Preference Optimization を用いた Amazon Nova のカスタマイズ をご覧ください。

自分で実装する手間を省きつつ、忘却機能の恩恵を受けたいお客様のために、CCMS では Amazon Nova 用の事前学習済み LoRA アダプターを用意しています。これらのアダプターは AWS リソースアクセスマネージャー (AWS RAM) を通じて共有されます。

アカウント内でアダプターを 受け入れ して コピー すると、Amazon Bedrock 上で一意の ARN を持つカスタムモデルとして登録されます。その後、オンデマンド推論用のカスタムモデル展開 を作成し、その展開 ARN を 標準的な Converse API で利用します。これには追加のコード変更は不要です。

aws bedrock-runtime converse \
  --model-id "arn:aws:bedrock:us-east-1::custom-model-deployment/" \
  --region us-east-1 \
  --messages '[{"role": "user", "content": [{"text": "Your prompt here"}]}]'

注記: カスタムモデルの展開には、通常の Amazon Bedrock 推論料金が適用されます。詳細は Amazon Bedrock の料金ページをご覧ください。

設定済みポリシーの対象外領域では、カスタマイズされたモデルはベースとなる Nova モデルと全く同じ挙動を示します。さらにアプリケーションレベルでの安全性を高める場合は、CCMS を Amazon Bedrock Guardrails と組み合わせることで、トピック固有のフィルタリングやハルシネーション検出、カスタムコンテンツポリシーを実装できます。

アクセス権限の申請や、ユースケースに合わせてどのポリシーの柱を設定すべきかについて議論したい場合は、AWS アカウントチームまでお問い合わせいただくか、[AWS サポートセンターコンソール](https://support.console.aws.amazon.com/support/home#/）からサポートケースを作成してください。

結論

本記事では、選好に基づく忘却手法である Reverse DPO（rDPO）をご紹介しました。既存の NPO などのアプローチが抱える主要な課題——つまり、モデルを高品質な回答へと導きながら、特定の行動を忘却させることができないという点——を rDPO は解決します。

DPO の目的関数における選好ペアを反転させることで、rDPO は両方の目標を単一のトレーニング信号で達成し、NPO よりも収束が速く、出力品質も向上させます。さらに、必要な学習イテレーション数が少なくて済むため、顧客向けのカスタマイズアダプター作成にかかる時間とコストの削減にも貢献します。

Amazon Nova 2 Lite での評価結果、rDPO で学習した LoRA アダプターは RAI（責任ある AI）ポリシーカテゴリー全体で拒否率を最大 54 ポイント引き下げながら、ユーティリティベンチマークへの悪影響は 2 ポイント未満に抑えることが示されました。重要なのは、これらのカスタマイズが Amazon Nova ユニバーサルの範囲内で動作し、設定不可の保護機能 を維持している点です。これにより、アダプターの構成に関わらずコアとなるセキュリティ対策は常に保たれます。

LoRA ベースのアプローチはこの課題に特に適しています。学習不要化（アンラーニング）を少数のパラメータに限定でき、ベースモデルの完全性を損なわず、同じ基盤モデルから異なるポリシー設定を提供できるモジュール型の展開を可能にするからです。

これらの技術は、Amazon Bedrock を使用してすぐにデプロイ可能な事前学習済みアダプターを提供する Amazon Nova CCMS の基盤となっています。ベースラインモデルの選好に基づく忘却（unlearning）をさらに探求したい研究者や実務家の皆様には、カスタム実験のための土台として活用できる DPO 学習レシピ を Amazon SageMaker AI が提供しています。Amazon SageMaker AI 上で Nova のカスタマイズに関する詳細は、ドキュメント および Nova カスタマイズの紹介 や Amazon SageMaker AI における高度な微調整手法 のブログ記事をご覧ください。

謝辞

本プロジェクトへの貢献者には、Ekraam Sabir、Weitong Ruan、Payal Motwani、Rahul Gupta、Claire O’Brien Rajkumar、Dhwanil Desai、Nikhil Sanil が含まれます。

著者紹介

Qian Hu

Qian は Amazon AGI Foundations RAI チームのシニア応用科学者です。ガードレールモデル、RAI カスタマイズ、学習後のアライメントなど、責任ある AI（Responsible AI）に注力しています。

Veda Raman

Veda は AWS で、Amazon Nova や Agentic AI に関するジェネレーティブ AI のシニア・ソリューションズアーキテクトを務めています。Amazon Nova モデルと Amazon Bedrock AgentCore を活用し、顧客が Agentic AI ソリューションを設計・構築するのを支援しています。以前は Amazon SageMaker を用いた機械学習（ML）ソリューションの構築や、AWS でのサーバーレス・ソリューションズアーキテクトとしての経験もあります。

Dan Sinnreich

Dan は Amazon のシニア・プロダクトマネージャーで、Amazon Nova モデル向けの AI セーフティ制御の開発を担当しています。以前は Amazon SageMaker において、ノーコード／ローコードの機械学習機能を構築し、より幅広い実践者が ML を活用できるようにしました。趣味としては、ホッケーやSF小説を読むことが好きです。