私が構築してきたもの：ATOMレポート、ポストトレーニング講座、書籍の完成、そして継続的な研究

この投稿は、個別の「Interconnects」記事にするほどではないが、私が最近取り組んでいること、それらに時間を割く理由、そしてその成果をまとめたものです。 ATOMレポート：オープン言語モデルエコシステムの測定 RLHF本の完成と予約注文開始！ 作成中のポストトレーニング講座 最近の技術的研究 共有 1. ATOMレポート：オープン言語モデルエコシステムの測定 https://arxiv.org/abs/2604.07190 2025年8月に当初ローンチされた、米国におけるオープンモデルへの投資を主張するマニフェストとも言うべき「The ATOM Project」メモに付随するものとして、最新のデータ、分析、そしてオープン言語モデルエコシステム内のストーリーテリングを含む更新版技術レポートを公開しました。ATOMレポートには、Florianと私がオープンエコシステムを追跡するために使用する手法が凝縮されており、GPT-OSSの台頭、推論（inference）市場シェア、Moonshot、Z.ai、MiniMaxなどの中国の中堅プレイヤーの影響、米国におけるオープンモデルの進捗の兆しなどが網羅されています。 ![image](https://substackcdn.com/image/fetch/$s_!JZNn!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F89b0ff17-1243-46dd-a81e-96c975f20a7b_2582x1992.png) 特に、本論文ではRelative Adoption Metric（RAM）の更新内容を詳述しています。この指標は、時系列かつサイズ正規化された方法で、最近のモデルの普及度を評価するために使用しています。以下は、RAMスコアにおける主な中国製モデルのサンプルです。RAMスコアの設計上、1より大きい値は、その時点においてそのサイズのカテゴリで過去最高のダウンロード数トップ10に入る見込みがあることを示します。複雑な状況を、解釈しやすい単一の数値に簡素化したのです！ ![image](https://substackcdn.com/image/fetch/$s_!TeBR!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6ef64b7a-04f2-4ed8-9cc4-966b775e9f59_1918x1336.png) また、このデータを用いて、初期の普及数が非常に高いGemma 4のリリースについても分析を行いました。今後の動向にも注目していきます！ ![image](https://substackcdn.com/image/fetch/$s_!u86h!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb9e2abfe-443e-48e8-bfda-bb5855dee388_1936x1056.jpeg) この種のアップデートを受け取るには、（不定期に更新される）ATOM ProjectのSubstackに登録してください！ 2. RLHFに関する書籍が完成し、予約注文が可能になりました！ http://rlhfbook.com/ この本の目標は、ポストトレーニング言語モデルの分野でキャリアを始めた際に、自分自身があればよかったと思うような本を書くことでした。このプロジェクトは長年にわたり私の頭の中にあり、2024年5月20日にドメイン rlhfbook.com を購入し、より本格的に取り組み始めました。そして今、ここにいます！ 先週、Manning チームへ納品されました。これはコンテンツの編集が完了し、約2ヶ月後に印刷版が発行されることを意味します。その間、私は関連するコードとコースの開発に時間を費やしています（詳細は後述）。 Amazon または Manning で予約購入できます（現在、Manning の方が安価です）。 ![image](https://substackcdn.com/image/fetch/$s_!Bv0Q!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fe2d8ba64-922d-4000-9d57-12cb5524a238_1200x675.jpeg) 3. 作成中のポストトレーニング講座 https://rlhfbook.com/course 私の本の目標は、ポストトレーニングにおいて初心者から上級者への移行を目指す人々にとっての中核的なリソースとなることです。必ずしも入門書というわけではありませんが、AI モデルが強化するにつれて、これはコミュニティ形成の取り組みでもあります。単なる本から完全な学習体験へと範囲を広げるために私が取った最初のステップは、講義シリーズの構築です。この講義は YouTube で無料で公開され、コミュニティからの質問と回答（講義間のスタンドアロン動画として）を組み込みます。 以下の最初のバッチの動画をご覧いただき、YouTube でチャンネル登録して今後の動画もご覧ください。今夏は、書籍のコードベースを開発し、対面イベントを開催しながら、書籍プラットフォームをさらに強化していく予定です。 ウェルカム動画と YouTube プレイリスト RLHF とポストトレーニングの概要 | RLHF 書籍講座、講義 1 RLHF の基礎、IFT（Instruction Fine-Tuning）、報酬モデル、拒否サンプリング | RLHF 講座 講義 2 LLM における強化学習のためのポリシー勾配アルゴリズムの理解 | RLHF 講座 講義 3 LLM 向けの強化学習アルゴリズムの実装 | RLHF 講座 講義 4 ![image](https://substackcdn.com/image/fetch/$s_!VS0r!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb238c68c-d7f4-4b2b-97fa-9a3cf773e72b_1280x720.png) 4. 最近の技術的研究 Interconnects の長年の読者ならご存知のとおり、このブログは分野における基礎研究の解説にルーツを持っています。これには二つの側面で極めて大きな価値があります。第一に、AI が驚くべき速さで進化している現在、より多くの人々が研究を解析して技術に対する正しい判断を下せるようになる必要があります。研究は、大きな変化が訪れることへの唯一の早期警報です。第二に、それは私の協力者たち、つまり私が生涯を共にする人々のキャリア向上に寄与します。その点で、以下の特権的な機会をいただいた二つの論文をご一読ください。 https://arxiv.org/abs/2603.16759 - TurnWise: The Gap between Single- and Multi-turn Language Model Capabilities, Graf et al. 2026 この研究では、マルチターン対話環境における各種モデルの強み、それを改善するためのトレーニングデータ作成方法、およびポストトレーニングにおけるその他の特性について探求しています。ここで私の関心は完全にエージェントへとシフトしており、マルチターン対話を非常に重要なユーザーインターフェース問題として捉えています。具体的には、手抜きをせず、いかに早くタスクを解決するためにユーザーにどのような情報を提示すべきかという問いです。 https://arxiv.org/abs/2603.11327 - Meta-Reinforcement Learning with Self-Reflection for Agentic Search, Xiao et al. 2026 この論文は、RLVR（Reinforcement Learning with Verifiable Rewards：検証可能な報酬を用いた強化学習）を用いて難問を解決することをメタラーニング問題として位置づけています。過去の試行からのコンテキスト（文脈）を活用して、将来のロールアウト（実行計画）にフィードバックを与えるというアプローチです。これはある意味で非常に自明なアイデアであり、LLM（Large Language Model：大規模言語モデル）の強化学習の大部分がまだオンポリシー（on-policy）でありながら幼稚な状態にあることに起因しています。モデルはパラメータ内での最近の試行から学習しますが、コンテキスト内からは学習しません。この研究は、強化学習を異なる形態の継続的学習（continual learning）を解決するために定式化する方法に関する、他の多くの最近の研究に繋がっています。また、関連する素晴らしい論文として「Learning to Discover at Test Time」があります。 コメントを残す 私は今後数ヶ月以内に中国（そして hopefully ワシントンD.C.）へ向かい、世界がAIの進歩をどのように見ているのかについてさらに学びたいと考えています。私のFocused technical job（集中した技術職）では通常接する範囲よりも、より多様な人々と話すことを楽しみにしています。いつも通り読んでいただき、ありがとうございます！

私が構築してきたもの：ATOMレポート、ポストトレーニング講座、書籍の完成、そして継続的な研究

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト