Amazon Novaの強化学習ファインチューニング：フィードバックを通じてAIを教育

ファウンデーションモデルは、一般的なタスクにおいて優れた初期性能を発揮しますが、多くの組織では自社の業務知識をモデルが理解・活用できることが必要となります。ドメイン固有の専門知識や特定のコミュニケーションスタイルの適用、コード生成や財務推論といった特殊なタスクへの最適化、業界規制への準拠確保など、アプリケーション構築においては汎用 AI と自社の具体的なニーズとのギャップを埋めるためにモデルのカスタマイズが不可欠です。課題は、いかに効果的にカスタマイズするかという点にあります。従来の教師ありファインチューニングは結果をもたらしますが、それは正しい最終回答だけでなく、そこに至るまでの完全な推論経路を示す数千件の慎重にラベル付けされた例が存在する場合に限られます。多くの実世界アプリケーション、特に複数の有効な解決策の道筋が存在するタスクにおいては、こうした詳細なステップバイステップの実演を作成することは、しばしば高コストで時間がかかるものとなります。 本稿では、評価を通じて学習する而非模倣による強力なカスタマイズ手法である Amazon Nova モデル向けの強化学習微調整（RFT）について探ります。RFT の仕組み、教師あり微調整との使い分けのタイミング、コード生成からカスタマーサービスに至るまでの実世界での応用例、そして完全に管理された [Amazon Bedrock](https://aws.amazon.com/bedrock/) から [Nova Forge](https://aws.amazon.com/nova/forge/) を用いた複数回対話型エージェントワークフローに至るまでの実装オプションについて解説します。また、最適な結果を達成するためのデータ準備、報酬関数の設計、およびベストプラクティスに関する実践的なガイダンスも紹介します。 ## 新たなパラダイム：模倣ではなく評価による学習 もし、車が地図上のすべての経路を学ぶだけでなく、間違った方向に進んだ場合のナビゲーション方法も学べるようになったらどうでしょうか？これが、私たちが Amazon Nova モデルに導入することを楽しみにしている強化学習微調整（RFT）の核心となるアイデアです。RFT は、模倣による学習から評価による学習へとパラダイムをシフトさせます。数千ものラベル付き例を提供するのではなく、プロンプトを提供し、最終的な答えが正しいとみなされる基準をテストケース、検証可能な結果、または品質基準を通じて定義します。その後、モデルは反復的なフィードバックを通じてこれらの基準を最適化することを学び、正解への独自の経路を発見していきます。 RFT は、コード生成や数学的推論におけるモデルのカスタマイズをサポートし、出力を自動的に検証することで、詳細な段階的な推論を提供する必要を排除します。私たちは、AI 活用におけるあらゆる段階のお客様のニーズに応えるため、RFT を当社の AI サービス全体で利用可能にしました：[Amazon Bedrock](https://aws.amazon.com/bedrock/?trk=7ecf60df-6136-414c-a7c3-6aa4d2d6019f&sc_channel=ps&ef_id=Cj0KCQiAhtvMBhDBARIsAL26pjF5tlSCgVtAAXNBPTW3v6z2cYnA892W_lIwR4Rc8Mp9RHD6Hk8DC9YaAku7EALw_wcB:G:s&s_kwcid=AL!4422!3!795877020842!e!!g!!amazon%20bedrock!23532472972!194311072004&gad_campaignid=23532472972&gbraid=0AAAAADjHtp8uhXSS5sHoIzYawO0sm5VFt&gclid=Cj0KCQiAhtvMBhDBARIsAL26pjF5tlSCgVtAAXNBPTW3v6z2cYnA892W_lIwR4Rc8Mp9RHD6Hk8DC9YaAku7EALw_wcB) で提供される完全管理型エクスペリエンスからシンプルに始め、[SageMaker Training Jobs](https://aws.amazon.com/sagemaker/ai/train/) でより多くの制御を獲得し、[SageMaker HyperPod](https://aws.amazon.com/sagemaker/ai/hyperpod/) で高度なインフラへスケールするか、または多ターン会話やカスタム強化学習環境のために [Nova Forge](https://aws.amazon.com/nova/forge/) を活用して最先端の機能を解放します。 2025 年 12 月、Amazon は [Nova 2 ファミリー](https://aws.amazon.com/nova/models/?refid=7ecf60df-6136-414c-a7c3-6aa4d2d6019f)をリリースしました。これは、推論機能を内蔵した Amazon 初のモデルです。従来のように直接回答を生成するのではなく、Nova 2 Lite などの推論モデルは、段階的な問題分解を行い、最終的な答えを出す前に中間の思考ステップを実行します。この拡張された思考プロセスは、人間が複雑な分析タスクに取り組む方法に似ています。RFT（Reinforcement Fine-Tuning：強化学習による微調整）と組み合わせることで、この推論能力は特に強力なものとなります。RFT はモデルが生成する答えだけでなく、問題へのアプローチ方法そのものを最適化し、より効率的な推論経路を発見させる一方で、トークン使用量を削減することを可能にします。現時点では、RFT はテキストのみのユースケースでサポートされています。 ## 実世界のユースケース RFT は、正しい結果を定義・検証できるシナリオにおいて特に優れています。ただし、大規模な詳細な段階別解決策デモンストレーションを作成することは現実的ではありません。以下に、RFT が有効な選択肢となり得るいくつかのユースケースを示します： - コード生成：単に正解であるだけでなく、効率的で可読性が高く、エッジケースを適切に処理するコードが必要です。これらはテスト実行やパフォーマンス指標を通じてプログラム的に検証可能な品質です。 - カスタマーサービス：返信が役立っているか、ブランドの声を維持しているか、各状況に適したトーンになっているかを評価する必要があります。これらは単純なルールに還元できない判断事項ですが、コミュニケーション基準に基づいて訓練された AI 判定者によって評価可能です。 - その他のアプリケーション：文脈やニュアンスが重要となるコンテンツモデレーション、財務分析や法文書レビューのような多段階推論タスク、そして API を呼び出すタイミングや方法、データベースを照会する方法をモデルに教える必要があるツール使用などがあります。どのケースでも、大規模な段階ごとの推論プロセスを容易に示すことができない場合であっても、正しい結果をプログラム的に定義して検証することが可能です。 - 探索が重要な問題：ゲームプレイや戦略、リソース割り当て、スケジューリングなどのユースケースでは、モデルが異なるアプローチを用いてフィードバックから学習する事例が有効です。 - ラベル付きデータが限られたシナリオ：ドメイン固有のアプリケーションで専門家が注釈をつけた例が少ない場合、確立された解決パターンがない新しい問題領域、ラベル付けコストの高いタスク（医療診断、法務分析）など、限られたラベル付きデータセットしか利用できないユースケースがあります。これらのケースでは、RFT（Reinforcement Fine-Tuning：強化学習微調整）は報酬関数から計算された報酬を最適化するために役立ちます。 ## RFT の仕組み RFT は、図 1 に示される 3 つの段階からなる自動化プロセスを通じて機能します: **第 1 段階：応答生成** – アクターモデル（カスタマイズ対象となるモデル）は、トレーニングデータセットからのプロンプトを受け取り、各プロンプトに対して複数の応答を生成します。通常、4 から 8 バリエーションが作成されます。この多様性により、システムは評価・学習の対象となる広範な応答の範囲を得ることができます。 **第 2 段階：報酬計算** – システムは、ラベル付き例との比較ではなく、報酬関数を用いて品質を評価します。ここでは 2 つの選択肢があります: - 検証可能な報酬による強化学習 (RLVR): AWS Lambda 関数として実装されたルールベースの評価者で、コードの実行や数学的問題の検証など、プログラムによって正誤を判定できる客観的なタスクに最適です。 - AI フィードバックからの強化学習 (RLAIF): 設定した基準に基づいて応答を評価する AI ベースの審査員で、有用性、創造性、ブランドボイスへの準拠などを評価するような主観的なタスクに理想的です。 **第 3 段階：アクターモデルのトレーニング** – システムは、スコア付けされたプロンプトと応答のペアを用いて、言語モデル向けに最適化された強化学習アルゴリズム（例：[Group Relative Policy Optimization (GRPO)](https://arxiv.org/abs/2402.03300)）を通じてモデルをトレーニングします。このプロセスでは、高報酬の応答を生成する確率を最大化し、低報酬の応答を最小化するように学習が進みます。この反復的なプロセスは、モデルが目標とするパフォーマンスに達するまで継続されます。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/02/24/ML-20340-image-1.png) 図 1: RFT のシングルパス動作の概要 ## RFT の主な利点 RFT の主な利点は以下の通りです: - 大規模なラベル付きデータセットは不要 – RFT ではプロンプトと品質評価手段があれば十分です。Bedrock RFT を利用する場合は、既存の Bedrock API 呼び出しログをそのまま RFT データとして活用できるため、特別に作成したデータセットを用意する必要もありません。 - 検証可能な成果物に最適化 – 正解に至るための明示的なデモンストレーションを必要とする教師ありファインチューニングとは異なり、RFT は「正しい結果を定義・検証可能であるが、複数の有効な推論経路が存在し得る」タスクに対して最適化されています。 - トークン使用量の削減 – モデルの推論プロセスを最適化することで、タスク完了に必要なトークン数を減らし、本番環境におけるコストとレイテンシを低下させます。 - セキュアかつ監視可能 – カスタマイズ処理中も独自データは AWS の安全な環境から一切外部に流出せず、トレーニングメトリクスをリアルタイムで監視できるため、進捗状況の追跡と品質保証が可能です。 実装ティア：シンプルから複雑へ Amazon は、Nova モデルにおけるリインフォースメント微調整（Reinforcement Fine-Tuning）に対して、完全管理型エクスペリエンスからカスタマイズ可能なインフラまで、複数の実装パスを提供しています。この階層化されたアプローチに従うことで、RFT 実装を特定のニーズ、技術的専門知識、および望む制御レベルに合わせて最適化できます。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/02/24/ML-20340-image-2.png) ## Amazon Bedrock Amazon Bedrock は、最小限の機械学習（ML）専門知識で済む完全マネージド型体験を通じて、RFT（強化学習微調整）への入り口を提供します。Amazon Bedrock コンソールまたは API を介して、トレーニング用プロンプトをアップロードし、報酬関数を AWS Lambda として設定するだけで、数回のクリックで強化学習微調整ジョブを開始できます。Bedrock は、インフラストラクチャのプロビジョニング、トレーニングのオーケストレーション、モデルのデプロイメントをすべて自動的に処理します。このアプローチは、インフラストラクチャの管理を行わずに特定の基準を最適化する必要がある単純なユースケースで特に効果的です。この簡素化されたワークフローにより、専任の ML エンジニアを持たないチームでも RFT を利用可能になりながら、強力なカスタマイズ機能を維持できます。Bedrock の RFT は、ルールベース報酬（RLVR）と AI ベースフィードバック（RLAIF）の両方のアプローチをサポートしており、モデルの改善を追跡するための組み込みモニタリングおよび評価ツールも備えています。始め方については、[Amazon Nova RFT](https://github.com/aws-samples/amazon-bedrock-samples/tree/main/custom-models/bedrock-reinforcement-fine-tuning) の GitHub リポジトリをご覧ください。 ## SageMaker Training Jobs トレーニングプロセスに対してより多くの制御を必要とするチーム向けに、[Amazon SageMaker Training Jobs](https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-training.html) は、管理されたコンピューティングリソースと複数のハイパーパラメータの調整機能を備えた柔軟な中間的な選択肢を提供します。また、中間チェックポイントを保存して使用することで、教師あり微調整（SFT）とフィードバック強化学習（RFT）ジョブを連鎖させるなど、モデルを段階的に洗練させる反復的なトレーニングワークフローを作成することも可能です。LoRA とフルランクのトレーニングアプローチの間で選択する柔軟性があり、ハイパーパラメータに対して完全な制御権限を持ちます。デプロイメントにおいては、完全に管理された推論には Amazon Bedrock を、インスタンスタイプ、バッチ処理、パフォーマンスチューニングを自分で制御したい場合は Amazon SageMaker エンドポイントを選択できます。このティアは、Amazon Bedrock 以上のカスタマイズが必要だが、専用インフラストラクチャを必要としない機械学習エンジニアやデータサイエンティストに最適です。SageMaker Training Jobs は、実験の追跡、モデルレジストリ、デプロイメントパイプラインのために、より広範な Amazon SageMaker AI エコシステムともシームレスに統合されます。Amazon Nova の RFT を SageMaker Training Job で実行する際には、YAML レシピファイルを使用してトレーニングジョブを構成します。ベースとなるレシピは、[SageMaker HyperPod recipes リポジトリ](https://github.com/aws/sagemaker-hyperpod-recipes/tree/main/recipes_collection/recipes/fine-tuning/nova/nova_2_0/nova_lite/RFT) から入手できます。 ベストプラクティス: - データ形式：1 行に 1 つの JSON オブジェクトを含む JSONL 形式を使用してください。 - 参照回答：報酬関数がモデルの予測と比較する基準となる正解値を含めてください。 - 小さく始める：スケーリングする前に、まず 100 例から始めてアプローチを検証してください。 - カスタムフィールド：評価に報酬関数が必要とする任意のメタデータを追加してください。 - 報酬関数（Reward Function）：AWS Lambda を用いて、速度と拡張性を考慮して設計してください。 - Amazon SageMaker Training Jobs で Amazon Nova の RFT ジョブを開始するには、SFT および RFT ノートブックを参照してください。 ## SageMaker HyperPod SageMaker HyperPod は、分散トレーニングに最適化された永続的な Kubernetes ベースのクラスターを提供し、大規模な RFT（強化学習微調整）ワークロード向けにエンタープライズグレードのインフラストラクチャを実現します。このティアは、チェックポイント管理、反復型トレーニングワークフロー、LoRA およびフルランクトレーニングオプション、柔軟なデプロイメントなど、SageMaker Training Jobs で利用可能なすべての機能を基盤としつつ、専用コンピューティングリソースと専門的なネットワーク構成を備えてより大規模に拡張されます。HyperPod における RFT 実装は、最先端の非同期強化学習アルゴリズムを通じてスループットの向上と収束速度の高速化を実現しており、推論サーバーとトレーニングサーバーが独立して最大速度で動作します。これらのアルゴリズムはこの非同期性を考慮し、ファウンデーションモデルのトレーニングに用いられる最先端の技術を組み込んでいます。また、HyperPod は高度なデータフィルタを提供し、トレーニングプロセスに対する細粒度の制御を可能にしてクラッシュの可能性を低減します。スループットとパフォーマンスを最大化するために、ハイパーパラメータに対する細粒度の制御も可能です。HyperPod は、大規模な RFT の限界に挑戦する必要がある ML プラットフォームチームや研究機関向けに設計されています。Amazon Nova RFT では、YAML レシピファイルを使用してトレーニングジョブを設定します。基本となるレシピは、SageMaker HyperPod レポジトリから取得できます。 - 詳細については、「Amazon SageMaker HyperPod 上で Amazon Nova RFT ジョブを開始するための RFT ベースの評価」をご覧ください。 ## Nova Forge Nova Forge は、高度な強化学習フィードバックトレーニング機能を提供し、洗練されたエージェント型アプリケーションを構築する AI 研究チームや実践者を対象に設計されています。単一ターン対話や Lambda のタイムアウト制約から解放されることで、Nova Forge は、ご自身の VPC で実行されるカスタムスケール環境における複雑なマルチターンワークフローを可能にします。このアーキテクチャにより、標準的な RFT（強化学習フィードバック）ティアではサポートできない最先端 AI アプリケーションにとって不可欠な、軌道生成、報酬関数、およびトレーニング・推論サーバー機能との直接操作に対する完全な制御権が得られます。Nova Forge はトレーニングプラットフォームとして Amazon SageMaker HyperPod を採用し、Amazon Nova が厳選したデータセットとのデータミックスや中間チェックポイントの提供といった他の機能も備えています。 主な機能: - マルチターン会話サポート - 実行時間が 15 分を超える報酬関数 - 追加のアルゴリズムと調整オプション - カスタムトレーニングレシピの変更 - 最先端の AI 技術 この段階ごとの進出は、それぞれの前段階を基盤として構築されており、RFT（強化学習微調整）の要件が変化するにつれて自然な成長パスを提供します。初期実験には Amazon Bedrock から始め、アプローチを洗練させる際には SageMaker Training Jobs へ移行し、特殊なユースケースには HyperPod または Nova Forge を HyperPod で活用して卒業してください。この柔軟なアーキテクチャにより、現在の要件に合わせた複雑さのレベルで RFT を実装でき、要件が成長するにつれて明確な次のステップを提供します。 ## 強化学習微調整（RFT）への体系的アプローチ 強化学習微調整（RFT: Reinforcement Fine-Tuning）は、構造化された報酬ベースの学習反復を通じて、事前学習済みモデルを段階的に改善します。以下に RFT を実装するための体系的なアプローチを示します。 ## ## ステップ 0：ベースライン性能の評価 RFT を開始する前に、モデルが最低限許容できるレベルで動作しているか評価してください。RFT では、トレーニング中に複数の試行のうち少なくとも一つの正しい解をモデルが生み出すことが必要です。 **重要な要件:** グループ相対ポリシーは、効果的に学習するために複数のロールアウト（通常、プロンプトあたり 4〜8 回の生成）全体で結果の多様性を必要とします。モデルは、少なくとも 1 つの成功または 1 つの失敗が試行の中に含まれている必要があります。これにより、強化学習のために正例と負例を区別できるようになります。すべてのロールアウトが一貫して失敗する場合、モデルには学習するための正のシグナルが存在せず、RFT（Reinforcement Fine-Tuning：強化学習微調整）は効果的ではなくなります。そのような場合は、まず SFT（Supervised Fine-Tuning：教師あり微調整）を使用して基本的なタスク能力を確立してから、RFT に取り組むべきです。失敗モードが主に知識不足に起因する場合は、その場合も SFT がより効果的な出発点となり得ます。一方、失敗モードが推論の質の低さに起因する場合は、推論品質の最適化には RFT の方が適切な選択肢となります。 ## ステップ 1: 適切なデータセットと報酬関数の特定 モデルが生産環境で遭遇するシナリオを代表するプロンプトのデータセットを選択または作成してください。さらに重要なのは、以下の要件を満たす報酬関数を設計することです： - 評価指標が追跡する内容を明確に反映していること：報酬関数は、生産環境で重視する品質を直接測定すべきです。 - モデルから必要なものを捉えていること：それが正しさ、効率性、スタイルの遵守、あるいはこれらの目的の組み合わせであっても構いません。 ## ステップ 2: デバッグと反復 トレーニングプロセス全体を通じて、トレーニング指標とモデルのロールアウトを監視する 注視すべきトレーニング指標： - 報酬

Amazon Novaの強化学習ファインチューニング：フィードバックを通じてAIを教育

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト