教師あり微調整のデータ準備：高度な戦略と品質確保の課題

教師ありファインチューニング（SFT）のためのデータ準備は、データセットがクリーンでフォーマットが正しく整った段階で終わるわけではありません。次に直面するのはより困難な問いです。実際に必要なデータ量はどれくらいか？もっとデータを収集すべきか、それとも既存のデータからより良いサブセットを選別すべきか？人間の注釈ではスケーリングできない場合、高品質な例をどう生成するか？また、モデルの汎用能力を損なうことなく、どのように専門化を進めるべきか？

この記事は、品質チェック済みでスキーマに準拠した SFT データセットが用意され、トレーニング用に最適化する準備ができていることを前提としています。本シリーズの初回記事 Preparing data for supervised fine-tuning Part 1: Formatting and quality では、Amazon Nova が想定する会話形式や、不具合のある低信号量の例を検出する品質チェック、そしてデータリークを防ぐためのトレーニング・評価データの分割方法といった基礎的な groundwork について解説しています。もしまだこれらの手順を踏んでいない場合は、まずそこから始めてください。

今回の記事では、学習曲線分析によるデータ準備状況の評価、データサブセットの選別とフィルタリング、データ拡張、そしてデータミxing の 4 つの高度な戦略を取り上げます。Amazon Nova のカスタマイズに関する知見を随所に取り入れつつ、これらの指針はあらゆるモデルに適用可能です。

データ準備状況の評価

データをクリーニングしフォーマットを整えた後は、トレーニング効果を得るのに十分なシグナルが含まれているかを確認する必要があります。

量と分布の評価

一般的な目安として、典型的な教師あり微調整（SFT）タスクには約 2,000 件の高品質なトレーニングサンプルを用意しましょう。これは概算値であり、タスクの難易度やモデルの現在の挙動が目標からどれだけ離れているかによって適切なサイズは変わります。単純なフォーマットやスタイルの変更であれば 500 件程度で十分な場合もありますが、複雑な多段階推論を要するタスクでは 10,000 件以上が必要になることもあります。タスクやドメインごとにデータ飽和の特性は異なります。

これらの実験を実行する前に、何よりも重要なのは明確に定義された評価ベンチマークです。これは、実際の運用トラフィックを代表する評価セットであり、あなたのユースケースにおける「成功」を反映した指標を含むものでなければなりません。多くのチームが、トレーニングデータの準備以上にこの評価基盤の構築を困難と感じています。まだお持ちでない場合は、まずこれを整えてください。Amazon Bedrock evaluations では、独自データセットや指標に基づいてモデルを評価できます。また、AWS Machine Learning Blog の Evaluate large language models for quality and responsibility には、評価パイプラインの構築方法が詳しく解説されています。

ベンチマークが整ったら、学習曲線分析を通じてデータセットのサイズを実証的に決定しましょう。

一度のトレーニングで評価するチェックポイントを用意しよう。フルデータセットに対して単一のトレーニングジョブを実行し、10〜20% ごとに中間チェックポイントを保存します。保存された各チェックポイントは、保持しておいた評価セット上で評価してください。最初のエポック中、ステップ N のチェックポイントは、ユニークなデータの約 N/total_steps を見た状態に相当するため、複数のトレーニング実行を行わずとも、データのスケーリング曲線を近似できます。

パフォーマンスをデータ規模に対してプロットしましょう。消費されたトレーニングトークン数に対するダウンストリームの指標をグラフ化します。ここで探すべきは飽和点です。これは、データを倍にしても主要な指標の改善が 1〜2% に満たなくなる地点を指します。

効果が薄れてきたら訓練を停止しましょう。曲線が平坦化している場合、同じ種類のデータを追加しても効果はありません。計算資源を節約するために早期に訓練を終了するか、モデルがまだ間違えている失敗事例に特化した、質的に異なるデータを追加してください。Figure 1 は、連続するチェックポイントの改善度合いから、曲線が平坦化しているのか、それともまだ向上しているのかを見分ける方法を示しています。

Figure 1: 最終スコアだけでなく、データを倍にした際の改善幅を読み取る。主要な指標が 1〜2 パーセントポイントしか向上しない場合、同じ種類のデータをさらに追加しても効果は期待できません。数値は例示です

なぜデータ量が多いほど性能が向上するとは限らない

SFT（教師あり微調整）は、事前学習のような単調なパワーロー法則に従いません。SFT スケーリング研究 によると、データ量を増やすだけでは性能が比例して向上する保証はありません。重要なのは、指示セットのカバレッジと深さです。Data Repetition Beats Scaling はこれを鮮明に示しています。計算リソースを一定に保った場合、推論例 400 件に対して 128 エポックで学習させた方が、51,200 件の例を 1 エポックだけ学習させるよりも、AIME や GPQA のスコアが 12〜26 ポイントも高くなりました。モデルが完全に記憶するまで訓練された小規模な高品質データセットは、一度しか見せない大規模データセットよりも優れた結果を出すことがあります。トレーニングトークンの精度を指標とすれば、モデルがほぼ完璧な学習精度に達した時点で性能の伸びが頭打ちになるため、これをもって停止基準とするのが実用的です。

データサブセットの選択とフィルタリング

効果が逓減し始めた段階では、全データセットで訓練するよりも、賢明なデータ選択を行った方が優れた結果を得られます。DEITA、DELIFT、およびコレスセット選出などの手法は、品質と多様性を維持しつつタスク空間をカバーする最小限のサブセットを特定します。これらの手法では、候補データに対して「品質」「多様性」、そして「その例がモデルに実際にどれだけ教訓をもたらすか」という観点でスコアリングを行います。特に注目すべき利点は以下の 2 つです。

少量のサンプルでも、フルデータセットに匹敵する、あるいはそれ以上の性能を発揮させる。冗長性や低品質な例を除去することで、よりクリーンな勾配信号が得られます。AlpaGasus では、品質順に上位 20% に絞り込むことで、フルセットよりも高速に学習し、高いスコアを達成できることが示されました。また、Rethinking Data Selection は、データサブセットの選択がフルデータセットでの訓練を上回る可能性を示しています。

壊滅的な忘却（カタストロフィック・フォーゲッティング）の低減。サンプル数を絞り、ターゲットを明確にすることで、モデルが事前学習済みの能力から遠ざかる勾配更新回数が減ります。これにより、サブセット選択はデータミキシングと相性の良い手法となります。つまり、忘却を抑えつつタスク特化を実現でき、場合によってはミキシング自体が必要なくなる可能性があります。

実務的なワークフローでは、準備度の評価とデータ選択を結びつけます。学習曲線は診断ツールとして機能します（チェックポイントを保存した 1 回の訓練実行で済むため）、これにより大規模な訓練を繰り返すことなく意思決定が可能になります。

• フルデータセットに対して学習曲線の診断を実行する。
• 飽和点を特定する。

学習曲線が早期に飽和している場合、データセットの末尾部分は有益なシグナルをほとんど提供していません。この段階では、高品質かつ多様なサンプルを選別したサブセットを作成し、それを今後のトレーニングセットとして活用しましょう。これは同じ結果を得るための診断実行の繰り返しではありません。選別されたサブセットは、次回以降のリトレーニングサイクルでより高速に学習が進み、ノイズとなる低価値な例を除去することで、フルセットよりも高いスコアを獲得できる可能性があります（本セクション前半で言及した AlpaGasus の結果がその根拠です）。

一方、100% まで改善が見られる場合は、データ量がボトルネックとなっています。この場合、既存の分布と同じデータを追加するのではなく、エラー分析から得た失敗ケースに焦点を当てた新たなデータを収集する必要があります。

もしターゲットとしたデータの入手コストが高い場合は、プログラムによる検証を組み合わせた強化学習ファインチューニングを検討すると、より効率的な解決策となるでしょう。

データ拡張

データセットが小さすぎたり範囲が狭すぎたりする場合、アノテーションコストを比例して増やさずにデータを拡張できるのがデータ拡張です。現代の教師あり微調整（SFT）において最も効果的な手法は、推論プロセスや合成されたデモンストレーションを生成することです。

実際には、多くのチームが以下の 3 つの方法のいずれかから拡張データを入手しています：

• より強力なモデルからの知識蒸留。DeepSeek-R1（https://arxiv.org/abs/2501.12948）や最先端の商用モデルといった、能力の高い教師モデルから推論トレースや回答を生成し、最終的な答えを検証します。正解したサンプルのみを保持することが一般的です。現在、オープンソースで利用可能な推論用データセットの多くは、この手法によって構築されています。

自己生成してフィルタリングする。微調整対象のベースモデルに、各問題に対して高温設定で複数の候補回答を生成させ、最終解答が正解であるものや、サンプル間で推論が一貫しているものだけを抽出します。これが STaR の核心となる考え方です。

重要なドメインでは、人間が作成したデータを増強する。医療、法務、安全性が最優先される分野など、正解性が量よりも重視される場面では、専門家が記した事例が依然として最高基準です。これらを増強するには、大規模言語モデル（LLM）を活用し、論理的な手順は保ったまま、専門家の推論を複数の表現スタイルに書き換える手法が有効です。

推論のトレース以外でも、古典的なデータ拡張技術によって指示データセットそのものを拡大できます。Self-Instruct は少量のシードセットから新しい指示と回答のペアを自己増殖させ、Evol-Instruct は制約条件の追加や推論深度の向上など、制御された次元に沿って既存の指示を進化させます。単純な変換も役立ちます。パラフレーズして表現のバリエーションをカバーしたり、回答形式をターゲットとする出力スタイルに合わせて再構成したりする手法です。これらはすべて、SFT の一般化性能を予測する「網羅性」と「深さ」の特性に直接アプローチするものです。

拡張されたデータには、2 つの品質原則が適用されます。第一に、スタイルの多様性が重要です。内容だけでなく、同じ解決策を 2 つコピーするよりも、構造が異なる正しい解決策を 2 つ用意する方が有用です。このパターンは MAmmoTH で活用されています。

第二に、検証は必須条件です。拡張されたすべての例は、人間が手作業で選別したデータと同じ品質基準を満たす必要があります。なぜなら、合成データの生成は重複や微妙なエラーの最も一般的な原因の一つだからです。トレーニングセットに組み込む前に、最初の投稿で紹介した重複排除とフィルタリングの手順を拡張データにも適用してください。

データミキシングのパターン

特定のタスク向けにモデルを微調整すると、他の能力におけるパフォーマンスが低下するリスクがあります。これは「壊滅的忘却（catastrophic forgetting）」と呼ばれる現象です。データミキシングは、ターゲットタスクのデータと、モデルが持つ既存の強みを維持するサンプルをブレンドすることで、この問題を解決します。

Amazon Nova のカスタマイズにおいては、Amazon Nova Forge がこのパターンをサポートしています。これにより、カスタマイズの各段階で独自データを Amazon が選定したトレーニングデータと組み合わせることが可能です。

重要な注意点として、データミックスが常に目標タスクの向上に寄与するわけではありません。その主な目的は、専門性を高める一方で汎用的な能力を維持することであり、一般データを混ぜ込むことは、ドメイン固有のデータトークンを置き換えることになるため、ドメイン指標には直接的なコストが発生します。

ただし、データソースが共通の推論パターンを持っている場合、正の転移（ポジティブ・トランスファー）は起こり得ます。Qwen2.5-Coder の研究では、コード、テキスト、数学を 70:20:10 の比率で混合したモデルが、コードのみで 100% 訓練した場合よりも優れており、コーディングベンチマークにおいてもその結果が出ました。

一方、トークン長の不均衡によって一般データが損失関数を支配してしまう場合、ミックスは逆効果になる可能性があります。サンプル数ベースでは一般データの混合率が 5% に過ぎなくても、そのシーケンス長が非常に長い場合、勾配信号の 80% 以上を占めてしまうことがあります。サンプルレベルの比率だけでなく、トークンレベルでの比率も監視する必要があります。

実務的な示唆：データミックスは目標タスクのパフォーマンスを高めるための手段ではなく、汎用的な能力を保証するための保険として捉えるべきです。

データミックスの仕組み

特定のタスクに特化したデータのみで訓練するのではなく、トレーニングバッチには制御された比率で複数のデータソースを組み合わせて構成します。典型的な混合例としては、70% を目標タスク、20% を汎用的な指示従順データ、10% を安全性に関するデータとするものです。このミックスはバッチレベルで行われるため、モデルは訓練を通じて一貫した分布を学習することになります。

SFT-mixing に関する既存の研究から、実験を始める前に知っておくべき実証的な知見がいくつかあります。Dong らは、各スキルの絶対的なデータ量がカテゴリ間の正確な比率よりもパフォーマンスに大きな影響を与えることを示しました。つまり、あるスキルが苦手であれば、バランスを整える前にそのスキルのデータを追加すべきです。

また、「Dual-stage Mixed Fine-Tuning」の研究では、専門性の高いデータでまず学習し、その後、少量の専門データを混ぜた汎用データで学習する手法が、忘却を招く逐次学習や干渉を引き起こす単純な混合学習よりも優れていることが示されています。さらに Cao らは、最適な混合比率はモデルサイズや利用可能なデータの予算によって変化するため、万能な比率は存在せず、実験を通じて最適化を図る必要があると指摘しています。

自動混合最適化

候補となるデータソースが多数あり、すべての組み合わせを手動で試す計算リソースが足りない場合、自動化された手法を用いれば、計算コストを大幅に抑えつつほぼ最適な重み付けを見つけることができます。

DoReMi は小さなプロキシモデルを訓練し、過剰な損失が最も大きいドメインの重みを上げます。このようにして得られた重みは、大規模な本番環境での実行にも確実に転用可能です。

RegMix は、多数の小規模な訓練ランニングを通じて混合比率と性能の関係を回帰分析し、特定のダウンストリームベンチマークを重視する際に役立ちます。

Dynamic Data Mixing は、各データソースがまだどれだけ貢献しているかに基づいて訓練中に重みを動的に調整します。これにより、最適な静的な混合比率よりも通常 2〜5% 高い性能を発揮します。

テック業界で活動し始めたばかりの多くの人にとって、手動でのアプローチは十分です。異なる優先順位を反映した候補となるデータミックスを 3〜5 つ選び、それぞれ短期間でトレーニングして評価し、勝者となったものをスケールアップすればよいでしょう。データソースが 5 つを超えた場合や、定期的な再学習サイクルを行う場合は、自動化された手法へと移行するのがおすすめです。

ミックス比率の選定

万能に通用する最適な比率は存在しません。一般的なルールとして、タスクが専門的であればあるほど、ミックスにおけるターゲットデータの割合を高く設定します。例えば医療コーディングのような高度に専門的なタスクでは、ターゲットデータを 80% 使用することも可能です。一方、トーンの変更など軽微な適応においては、より均等な比率が有効です。いずれの場合でも、安全性確保のために 5〜10% のセーフティデータを含めるのが望ましいでしょう。

Amazon Nova モデルの実験では、50/50 の分割が専門性と能力維持の間に優れたバランスをもたらすことが示されました。さらに、独自の experiments に活かすべき他の重要な知見は以下の通りです。

• 推論・指示従属カテゴリを含めること。これは汎用ベンチマークのパフォーマンスを大幅に向上させます。
• 学習率に注意すること。データミックスによる SFT は学習率の影響を受けやすいため、Low-Rank Adaptation (LoRA) では 1e-5、フルランクでは 5e-6 をデフォルトの初期値として使用してください。
• 多モーダルデータセットの場合、動画データの割合を 20% 以上に保つこと。これにより汎用ベンチマークのパフォーマンス維持に寄与します。

判断フレームワーク：ミックスするかしないか？

多くの顧客は、すでに指示に従うようにポストトレーニングが施されたモデル（Amazon Nova Lite 2.0 や市販のチャットモデルなど）をファインチューニングします。このフレームワークも、そのような出発点を前提としています。まれに、次トークンの予測のみで事前学習されたベースチェックポイントから始めるケースもありますが、その場合は必ずデータを混合してください。指示に従う能力や安全性の振る舞いを維持する必要がないためです。

指示付きモデルを出発点とする場合、データ混合なしで短時間トレーニングし、チェックポイントを評価します。最終的な判断は、この単一のランによって答えが出る 2 つの問いに帰着されます。

• 混合しない実行でターゲットデータに過学習していないか？ 以下のシグナルを確認してください。トレーニング損失が低下し続ける一方で検証損失が頭打ちになるか上昇する、あるいはターゲットタスクの検証性能が中間チェックポイントでピークに達した後に低下する現象です。数千例程度の小規模データセットではこのリスクが高まりますが、明確な閾値はありません。これはエポック数や学習率、LoRA かフルランクでトレーニングするかによって異なります。

まずはトレーニング設定の修正で対応してください。具体的には、エポック数を減らす、早期停止を行う、学習率を下げるなどです。それでも過学習が続く場合は、汎用データを混合して勾配の多様性を加え、さらなる正則化効果を得ることができます。

同じ学習を繰り返した結果、必要な汎用スキルが低下していないか確認しましょう。アプリケーションで実際に必要とされる能力、例えば指示の理解や対話、数学やコーディングなどが維持されているかを評価します。もしこれらのスキルが安定していれば、データを混ぜずにリリースしてトレーニングコストを節約できます。一方、許容範囲を超えてスキルが低下している場合は、データ混合を追加し、その深刻度に応じて汎用データの比率を拡大してください。

データセットの規模や多様性だけでは、これらの疑問に答えることはできません。ドメイン内でどれだけ多様な 20,000 件の医療データを扱っても、アプリケーションが数学やコーディング能力を必要とする場合、それらのスキルは損なわれる可能性があります。だからこそ、このフレームワークでは仮定するのではなく測定を行います。

データ混合だけが忘却を防ぐ唯一の方法ではありません。モデルを時間経過とともに繰り返し更新する場合、OSFT などのアルゴリズム的アプローチを用いれば、各学習ラウンドで重み空間の特定の方向にのみ調整を行い、既存の知識を乱さないように制御できます。OSFT は Hugging Face PEFT でドロップインオプションとして利用可能です。

結論

ここで紹介した高度な戦略には共通するテーマがあります。それは「行動する前に測定すること」です。学習曲線の分析は、より多くのデータが役立つかどうかを明らかにします。サブセットの選択は、どのデータが重要かを特定し、データ拡張は収集ではカバーできないギャップを埋めます。