一からコーディングするLLM：完全コース

**タイトル: ゼロからLLMを構築する：完全コース** ここ数ヶ月、私は推論モデルについて多く執筆してきました（連続4記事です！）。「エージェント的」なものに次いで、推論は2025年のLLM分野における最大のトピックの1つです。 しかし今月は、LLMの仕組みを理解する最良の方法の一つである「LLMのコーディング方法」について、より基礎的または「基盤的」なコンテンツを共有したいと思います。 その理由は、昨年共有した要約版LLMワークショップを多くの方に高く評価していただき、有益だったと感じたからです。 そのため、この約5倍の長さでより詳細なコンテンツ（合計約15時間）は、さらに役立つだろうと考えました。 また、不幸にも私は首の重傷を負っており、過去3週間ほとんどパソコン作業ができていません。現在は、提案されている手術を検討する前に、保存的治療を試みているところです。軌道に戻り始めたばかりの時に、また別の困難が訪れるとは、最悪のタイミングです。 ですから、回復期間中に、ここ数ヶ月で録画していたこれらの動画を共有することが、良いつなぎのコンテンツになるだろうと考えました。 お役に立てれば幸いです。ご支援に感謝します。 追記：これらの動画は、元々私の著書『Build a Large Language Model (From Scratch)』の補足コンテンツとして始まりました。しかし、スタンドアロンのコンテンツとしても十分に成立することが分かりました。 **なぜゼロから構築するのか？** それはおそらく、LLMが実際にどのように機能するかを学ぶ最良で最も効率的な方法です。さらに、多くの読者から、実際にやってみて非常に楽しかったという声をいただいています。 例えて言うなら：車に興味があり、その仕組みを理解したいなら、ゼロから組み上げるチュートリアルに従うのが学ぶための素晴らしい方法です。もちろん、最初のプロジェクトとしてF1レーシングカーを構築することから始めたいとは思わないでしょう。法外に高価で、初めてのプロジェクトとしては過度に複雑だからです。代わりに、ゴーカートのようなよりシンプルなものから始める方が理にかなっています。 ゴーカートを組み立てる過程でも、ステアリングの仕組みやエンジンの機能などを学べます。プロのレーシングカーに乗る前（あるいはそれを造る会社やチームに加わる前）に、サーキットに持ち込んで練習し、楽しむことさえできます。結局のところ、最高のレーシングドライバーたち（ミハエル・シューマッハやアイルトン・セナを思い浮かべてください）は、しばしば自分でゴーカートを組み立て、改造することからキャリアを始めています。そうすることで、車に対する優れた感覚を養えただけでなく、メカニックに貴重なフィードバックを提供することもでき、それが他のドライバーに対する優位性となったのです。 **参考文献** Build an LLM from Scratch 書籍（Manning | Amazon） Build an LLM from Scratch GitHubリポジトリ --- **1 - コード環境のセットアップ (0:21:01)** これは、uvを使ってPython環境をセットアップする方法を説明する補足動画です。 特に、このドキュメントで説明されている「uv pip」を使用します。 代替として、ネイティブの「uv add」構文（この動画では言及されていますが詳細には触れていません）についてはこちらで説明しています。 注意点／ヒント：インストールはWindowsの特定のバージョンで問題を引き起こす可能性があります。Windowsマシンでインストールに問題が生じた場合（おそらく動画5でOpenAIのオリジナルGPT-2モデルウェイトをロードするためのTensorFlow依存関係が原因です）、ご心配なく。TensorFlowのインストールはスキップして構いません（requirementsファイルからTensorFlowの行を削除すれば可能です）。 代替案として、私はGPT-2のモデルウェイトをTensorFlowのテンソル形式からPyTorchのテンソルに変換し、Hugging Faceモデルハブで公開しました。動画5のウェイト読み込み部分の代替としてご利用いただけます：https://huggingface.co/rasbt/gpt2-from-scratch-pytorch。 いずれにせよ、このウェイト読み込みのコードについて心配する必要があるのは、動画5の終わりまでありません。 **2 - テキストデータの扱い (1:28:01)** この動画では、LLMトレーニングのためのテキストデータ準備ステップ（トークン化、バイトペアエンコーディング、データローダーなど）について解説します。 **3 - アテンション機構のコーディング (2:15:40)** これは、アテンション機構（セルフアテンション、因果的アテンション、マルチヘッドアテンション）がどのように機能するかを、ゼロからコーディングすることで説明する補足動画です。 車のエンジンを組み立てる（フレームやシート、ホイールを追加する前の段階）と考えることができます。 **4 - LLMアーキテクチャのコーディング (0:21:01)** この動画では、ゼロからLLMアーキテクチャをコーディングする方法を扱います。 **5 - ラベルなしデータでの事前学習 (2:36:44)** この動画では、ゼロからLLMを事前学習する方法を説明します。 **6 - 分類のためのファインチューニング (2:15:29)** これは、次の動画でLLMを命令ファインチューニングする前に、その穏やかな導入として、LLMを分類器（ここではスパム分類の例を使用）としてファインチューニングする方法を説明する動画です。 **7 - 命令ファインチューニング (1:46:04)** 最後に、この動画ではLLMを命令ファインチューニングする方法を説明します。 ご視聴と、実際に手を動かすことをお楽しみください！ --- **ボーナス: 過去と現在のLLM (2018年から2025年まで)** 有料購読者の皆様への感謝を込めて、4月上旬（Llama 4リリースの約2日後）に録画した、コーディングを含まない2.5時間のボーナス動画を共有します。この講演では、2018年のGPT-2以降、何がどのように変化したかに焦点を当て、2025年現在のLLMの状況について論じています。 独立した自営研究者として、皆様のご支援は私にとって本当に大きな意味があります。ありがとうございます。 今後数週間から数ヶ月のうちに状況が好転することを願っています。今後の記事に向けたアイデアがたくさんあり、それらに取り組むのが待ちきれません！ さらに読む

一からコーディングするLLM：完全コース

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト