初心者のためのファインチューニング解説（事前学習済みモデルが新しいスキルをどう学ぶか）

画像: https://www.kdnuggets.com/wp-content/uploads/Noob-Series-Fine-Tuning-Explained.png

# イントロダクション

この記事は、複雑な数学やその他の要因によって理解しにくいにもかかわらず、人々が最も Google で検索する質問について書く私の「初心者向けシリーズ」の一部です。もしあなたがここにおられるなら、おそらく大規模言語モデル（LLM）の文脈で「ファインチューニング」という言葉をどこかで聞いたことがあるでしょう。この概念は従来の機械学習では何年も前から存在していましたが、LLM の登場以降に人気を集めました。なぜなら今や突然、誰もがこれらの巨大な汎用事前学習済みモデルにアクセスできるようになり、タスクや自身のニーズ、そして独自のトーンに合わせて適応させることができるようになったからです。この適応する行為は基本的に「ファインチューニング」と呼ばれ、現在 LLM を扱う人々が最もよく行うことの 1 つとなっています。しかし、その前にあるステップである「事前学習」を理解しない限り、これを理解することはできません。ファインチューニングとは、すでに存在するものを「調整」することであり、その「もの」とは事前学習済みモデルのことです。では、これらの概念を分解して見ていきましょう。そうすれば将来、誰かにこれについて聞かれても、あなたはその答えを知っているはずです。

# 事前学習とは何か？

**

もし、数百万または数十億のパラメータにランダムな数値を割り当てたばかりのモデルから始めて、映画を異なるカテゴリに分類する方法といった非常に特定のタスクを直接教えようとすると、限られたデータセットしかない場合でも、同時にゼロから英語全体を学習する必要が生じます。これは不可能です。まるで、幼児が言語や基礎的な科学概念を理解する前に生物学を教えているようなものです。

事前トレーニング（Pretraining）は、膨大なデータから困難で一般的な内容を一度学習することでこの問題を解決します。この段階では計算資源とデータの要件は非常に高くなります。しかし、一度トレーニングを完了すれば、すでに言語を理解しているモデルが得られます。** この段階では、非常に単純なスキルを教えます：次の単語を予測することです。次に隠されたテキストの一部をモデルに見せ、次に来るものを推測させます。良い推測には小さな損失（loss）が与えられ、悪い推測には大きな損失が与えられ、モデルはそれに応じて調整を行います。

**

例えば、上記の図において、「The cat sat on the ____」という文を与えると、モデルは「mat」が「car」よりもはるかに確率が高いことを学習します。このトレーニングを数十億もの文書、書籍、記事にわたって繰り返すことで、モデルは非常に優れた次単語予測器となり、文法、事実、推論パターンなどを吸収するように強制されます。事前学習（pretraining）が完了すると、すでに言語を理解しているモデルが得られます。後から構築するすべてのタスクは、ゼロから始めるのではなく、この基盤の上に成り立つことになります。そのため、これらはしばしばファウンデーションモデルと呼ばれるのです。

実際には、自分で何かを事前学習（pretrain）することはほとんどありません。 完成した結果、つまり Llama や Mistral、Qwen などの事前学習済みモデルをダウンロードし、そこから始めます。これが、私たちが実際に扱うファインチューニング（fine-tuning）の話題につながります。

# ファインチューニングとは何か？

多くの初心者は、一度モデルがトレーニングされると重みは永遠に凍結されたままになると考えています。 実際には、事前学習済みモデルを持っているということは、その重みが知能を符号化し、一般的なタスクでよく機能する「良い値」に設定されていることを意味します。このモデルを手に入れたら、特定のタスクに必要なデータを使って、その知能をあなたの具体的なニーズに合わせて適応させることができます — これがファインチューニングと呼ばれるものです。この段階でのデータ要件も事前学習よりもはるかに低く済みます。 興味のあるタスクの例さえあれば十分だからです。

これは、同じ料理学校で異なるシェフが訓練される方法と非常に似ています。その後、彼らがレストランに入ると、そのレストラン固有のスキルを学びます。ここではゼロから何かを構築しているわけではないため、コストは低くなります。これは、レストランのために全く新しい人を訓練するよりも、すでに料理学校に通ったことがある人を訓練する方がはる少ない労力で済むという考え方に似ています。以下の図は、事前学習とファインチューニングの違いを要約しています。

**

# ファインチューニングはどう行われるのか？

次にトークン予測と事前学習のプロセスについて議論しました。さて、ファインチューニングのループを見てみましょう。

モデルにタスク固有のデータの例（例えば映画）を見せ、その映画を分類して推測させます。その後、その回答と理想の答えを比較し、重みを少し調整して、下流タスクでより良くなるまでこのプロセスを繰り返します。事前学習と比較してファインチューニングで異なる2つの主要な点があります：

• データ → 全インターネットではなく、小規模で高品質なタスク固有データ。

• 学習率 (Learning Rate) → モデルが一般的なスキルを上書きせずに適応できるようにするため、小さな学習率と少ないエポック数を使用します。

# ファインチューニングの2つの一般的なタイプ

インターネット上では異なる定義が見つかるかもしれませんが、調整または適応させたいモデルのパラメータ数に基づけば、ファインチューニングは広義において2つのカテゴリに分類されます：

• フルファインチューニング: この設定では、モデル内のすべてのパラメータが変更可能となります。上記のループを実行すると、数十億もの数値すべてがタスクに向けてわずかにシフトします。このアプローチの主な問題はメモリです。モデル全体を保持して更新するには十分なメモリが必要であり、大規模なLLMの場合、これは強力なハードウェアを意味します。また、カストロフィックフォッティング（壊滅的な忘却）のリスクも高まります。これはつまり、モデルが特定のタスクには優れるようになる一方で、それ以外の一般的な能力を失ってしまうことを指します。

• パラメータ効率的ファインチューニング (PEFT): ネットワーク内のすべての重みを更新するのではなく、PEFT手法ではベースモデルを凍結し（すべての元の数値はロックされた状態のまま）、新しく訓練可能な少数の数値を導入して、それらだけを学習させます。これを実現するための手法には、LoRA、QLoRA、プロンプトチューニングなどがありますが、これらの詳細はこの記事の範囲を超えています。PEFT はメモリ使用量とトレーニング時間を削減でき、すでに習得した知識を忘却するリスクも低減されます。LLM のファインチューニングにおいては、これがデフォルトの選択肢となります。

# ファインチューニングは常に正解なのか？

ファインチューニングは、モデルに新しいスキル、スタイル、行動、またはタスクを教えるのに優れていますが、唯一のツールではなく、むしろ最初に手を出すべき手段でもありません。場合によっては、トレーニングなしでより良いプロンプトが問題を解決することもあります。同様に、クエリ実行時にオンラインやデータベースから情報を参照する方が合理的な場合は、検索拡張生成（RAG）の方が適しており、特に事実情報が大量にある場合や頻繁に更新される場合に有効です。これらのアプローチは競合するものではなく、実際にはほとんどのシステムでこれらを組み合わせて使用しています。フルスケールのファインチューニングを実行する前に心に留めておくべき点です。

# 追加リソース

LoRA を用いたファインチューニングを具体的に練習したい場合は、以下の推奨リソースをご覧ください：

• Hugging Face PEFT: LoRA、QLoRA、プロンプトチューニングなどに対応する標準的なオープンソースライブラリ。まずはドキュメントとリポジトリから始めましょう。

• Hugging Face TRL: PEFT と連携し、教師ありファインチューニングループ用の用意された SFTTrainer を提供します。

• Unsloth: LoRA/QLoRA への最も初心者向けの道筋。無料の Colab および Kaggle ノートブックを提供し、トレーニング速度が約 2 倍高速で、必要 VRAM も大幅に削減されます。

• Axolotl: ある程度慣れたら、コードをほとんど書かずにファインチューニングパイプラインを実行できる人気のある設定駆動型（YAML）ツールです。

• LoRA のオリジナル論文："LoRA: Low-Rank Adaptation of Large Language Models"

• QLoRA のオリジナル論文："QLoRA: Efficient Finetuning of LLMs"

良い最初のプロジェクトとしては、小さなインストラクションモデル（8B の Llama や Qwen、Gemma などのようなもの）を入手し、Unsloth の QLoRA ノートブックを開いて、自分のタスクに関する数百件のクリーンな例でファインチューニングを行い、トレーニング損失が低下する様子を確認してください。一度でも実行すれば、この記事のすべての用語がはるかに具体的なものとして感じられるようになります。

Kanwal Mehreen は機械学習エンジニアであり技術ライターで、データサイエンスと AI と医療の交差点に対する深い情熱を持っています。彼女は電子書籍「ChatGPT で生産性を最大化する」の共著者です。APAC 地域の Google Generation Scholar 2022 として、多様性と学術的卓越性を推進しています。また、Teradata Diversity in Tech Scholar、Mitacs Globalink Research Scholar、Harvard WeCode Scholar としても認められています。Kanwal は変化の熱心な支持者であり、STEM 分野の女性をエンパワーメントするために FEMCodes を設立しました。