2024年の注目すべきAI研究論文（パート2）

2025 年が素晴らしいスタートを切っていることを願っています！今年を締めくくるために、ついにこの「2024 年 AI リサーチハイライト」記事のドラフトと第 2 部を完成させることができました。ここでは、エキスパート混合モデルから精度のための新しい大規模言語モデル（LLM）のスケーリング法則に至るまで、多岐にわたる関連トピックを取り上げています。 なお、本記事はシリーズの第 2 部であり、2024 年後半の 7 月から 12 月までの期間に焦点を当てています。1 月から 6 月までをカバーする第 1 部はこちらで見つけることができます。 選定基準は主観的なものですが、今年私が特に印象に残ったものに基づいています。また、LLM モデルのリリースに関する内容だけでなく、多様なトピックを取り上げるよう努めました。 2025 年が素晴らしい一年になりますように、そして楽しい読書をお楽しみください！ 7. 7 月：Llama 3 のモデル群 読者の方々はすでに Meta AI の Llama 3 モデルおよび論文に精通されていることと思いますが、これらが非常に重要で広く使用されているモデルであるため、7 月のセクションでは Grattafiori 氏らによる「The Llama 3 Herd of Models（2024 年 7 月）」という論文を特集します。 Llama 3 モデルファミリーの注目すべき点は、その前身である Llama 2 に比べて、事前トレーニングおよび事後トレーニングのパイプラインがより洗練されていることです。これは Llama 3 のみに限らず、数ヶ月前に私の「新しい LLM 事前トレーニングと事後トレーニングのパラダイム」記事で述べたように、Gemma 2、Qwen 2、Apple のファウンデーションモデルなど他の LLM にも当てはまります。 7.1 Llama 3 アーキテクチャの概要 Llama 3 は当初、80億パラメータと700億パラメータのサイズでリリースされましたが、チームはモデルの継続的な改良を続け、Llama の 3.1、3.2、3.3 バージョンを順次公開しています。各サイズの概要は以下の通りです。 Llama 3（2024 年 4 月） 8B パラメータ 70B パラメータ Llama 3.1（2024 年 7 月、論文で議論済み） 8B パラメータ 70B パラメータ 405B パラメータ Llama 3.2（2024 年 9 月） 1B パラメータ 3B パラメータ 11B パラメータ（ビジョン機能搭載） 90B パラメータ（ビジョン機能搭載） Llama 3.3（2024 年 12 月） 70B パラメータ 全体として、Llama 3 のアーキテクチャは Llama 2 と非常に類似しています。主な違いは、より大規模な語彙と、小規模モデル向けに導入されたグループ化クエリアテンション（grouped-query attention）にあります。これらの差異の要約を以下の図に示します。 ![image](https://substackcdn.com/image/fetch/$s_!Od-H!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb7794088-da83-4121-90db-f84daf266970_1600x888.png) 私の『ゼロから大規模言語モデルを構築する』書籍の補足資料における Llama 2 と 3 の比較 アーキテクチャの詳細について興味を持たれた場合は、モデルをゼロから実装し、事前学習済み重みを読み込んで検証（sanity check）を行うことが、学ぶための優れた方法です。私は GitHub リポジトリで、GPT-2 から Llama 2、Llama 3、Llama 3.1、そして Llama 3.2 へ変換するゼロから実装されたコードを公開しています。 ![image](https://substackcdn.com/image/fetch/$s_!z5sR!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F019ba256-f4e9-49b6-af78-9be76629c1b3_1600x897.png) GPT-2 から Llama 2、Llama 3、Llama 3.1、そして Llama 3.2 への移行は、私の『ゼロから大規模言語モデルを構築する』書籍の付録資料からのものです。 7.3 Llama 3 のトレーニング Llama 2 に対するもう一つの注目すべき更新点は、Llama 3 が現在 15 トリリオンのトークンでトレーニングされていることです。 ![image](https://substackcdn.com/image/fetch/$s_!T2DE!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F88588e3b-8d4e-403d-a9a3-75ca22546dd8_1600x832.png) 各種モデルのトレーニングセットサイズの比較。 事前トレーニングプロセスは現在、多段階で行われています。論文は主に Llama 3.1 に焦点を当てていますが、簡潔さのため、その事前トレーニング技術を図に要約しました。 ![image](https://substackcdn.com/image/fetch/$s_!nfh6!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F2500d56c-9565-4134-8f20-2e9590c43025_1354x682.png) Llama 3.1 の事前トレーニングで使用された技術の要約。 ポストトレーニングにおいて、Llama 2 から顕著な変化は、RLHF-PPO（強化学習による人間フィードバック最適化）から DPO（直接選好最適化）への切り替えです。これらの手法も以下の図に要約されています。 ![image](https://substackcdn.com/image/fetch/$s_!ORr_!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F1af88b42-330d-4505-a21b-2af5da777a65_1374x668.png) Llama 3.1 の事前学習（pre-training）で用いられた技術の概要。 簡潔さを優先するため、本記事で取り上げる論文があと 5 本あるため、他のモデルとの追加の詳細や比較については、私の過去の別の記事に譲ります。新しい大規模言語モデル（LLM: Large Language Model）の事前学習と事後学習のパラダイム。 Ahead of AI は読者支援型の出版物です。新しい投稿を受け取り、私の活動をサポートするには、無料または有料の購読者になることを検討してください。 7.4 多モーダル Llamas Llama 3.2 モデルも同様に多モーダル（multimodal）対応でリリースされました。しかし、私はこれらのモデルが実務において広く使われているのを観察しておらず、また広く議論されているとも感じていません。本記事の 9 月のセクションで改めて多モーダル技術について取り上げます。 7.5 Llama 3 の影響と利用状況 Llama 3 がリリースされてから半年以上が経過しましたが、Llama モデルは依然として最も認知度が高く、広く使用されているオープンウェイト（open-weight）の LLM の一つです（これは私の個人的な認識に基づくものであり、具体的な出典を示すことはできません）。これらのモデルは理解しやすく、使いやすいためです。その人気には、Llama というブランドの認知度に加え、さまざまな一般タスクにおいて堅牢なパフォーマンスを発揮すること、そして微調整（finetuning）が容易であることが理由として挙げられます。 Meta AI は、Llama 3 モデルの継続的な改良により勢いを維持しており、バージョン 3.1、3.2、そして現在の 3.3 をリリースしています。これらは多様なサイズを備え、オンデバイス環境（1B）から高性能アプリケーション（400B）に至るまで、さまざまなユースケースに対応しています。 現在、Olmo 2、Qwen 2.5、Gemma 2、Phi-4 など、多くの競合するオープンソースおよびオープンウェイトの LLM（大規模言語モデル：Large Language Model）が存在しますが、私は Llama が、Anthropic の Claude、Google の Gemini、DeepSeek などの選択肢からの競争にもかかわらず ChatGPT が人気を維持し続けているように、ほとんどのユーザーにとってデファクトスタンダードであり続けるだろうと考えています。 個人的には、2025 年のどこかでリリースされることを願っている Llama 4 にワクワクしています。 8. 8 月：推論時の計算リソースの拡張による LLM の改善 今月の私の選定は、「Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters（2024 年 8 月）」です。これは非常に良く書かれており詳細な論文であり、推論時（つまり、デプロイ時）における LLM の応答を改善するための興味深い洞察を提供しています。 8.1 より多くのテスト時の計算リソースの使用による出力の向上 本論文の主要な前提は、テスト時の計算リソースを増やすことでLLM（大規模言語モデル）の出力を改善できるかどうか、またその方法を探ることです。大まかな例えとして、人間が難しい課題に取り組む際、考える時間をより多く与えられるとより良い回答を生み出せる可能性があります。同様に、LLMも応答生成に要する時間やリソースを増やすことで、より優れた出力を生成できるかもしれません。より技術的な用語で言えば、研究者たちは推論時に追加の計算リソースを使用した場合、モデルが訓練された性能よりもどれだけ向上し得るかを明らかにしようとしています。 さらに、研究者たちは、固定された計算予算の下で、その計算リソースをモデルのさらなる事前学習に費やすのではなく、テスト時の計算に割くことで結果を改善できるかどうかも調査しました。これについては後ほど詳しく述べます。 8.2 テスト時計算技術の最適化 本論文では、テスト時計算を増やし改善するための技術を非常に詳細に説明しています。もし実務でLLM（前述のLlamaモデルなど）を導入するつもりがあるなら、この論文を完全に読むことを強くお勧めします。 要約すると、テスト時計算をスケーリングするための主な2つの方法は以下の通りです。 1. 複数の解決策を生成し、プロセスベースの検証器報酬モデル（別途訓練が必要）を使用して最良の応答を選択する手法 2. モデルの応答分布を適応的に更新する手法。これは本質的に推論生成中に応答を修正することを意味します（これも別のモデルが必要です）。 カテゴリ 1 の簡単な例を挙げると、テスト時の計算リソースを改善する素朴な方法の一つに、Best-of-N サンプリングを使用することがあります。これは、LLM に複数の回答を並列で生成させ、検証器報酬モデルに基づいて最良のものを選択するという手法です。Best of N もまた一例に過ぎず、ビームサーチ、先読みサーチ、Best-of-N など、複数の探索アルゴリズムがこのカテゴリに分類されます（以下の図参照）。 ![image](https://substackcdn.com/image/fetch/$s_!AO8D!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0537fd6d-81d4-4b6a-b0ee-0eb6f83caed3_1600x919.png) 異なる探索ベースの手法は、プロセス報酬に基づくモデル（process-reward-based model）を用いて最良の回答を選択します。LLM Test-Time Compute 論文からの注釈付き図、https://arxiv.org/abs/2408.03314 カテゴリ 2 に分類される別のアプローチとして、モデルの応答を逐次的に修正する方法があります（以下の図参照）。 ![image](https://substackcdn.com/image/fetch/$s_!H8Yw!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fcc963076-6e5a-43ed-b4ee-e33e91c2e000_950x1016.png) 逐次修正アプローチ。LLM Test-Time Compute 論文からの注釈付き図、https://arxiv.org/abs/2408.03314 どちらのアプローチがより効果的でしょうか？残念ながら、万能な答えはありません。これは基盤となる大規模言語モデル（LLM）と、具体的な問題やクエリの内容に依存します。例えば、修正ベースのアプローチは難しい質問に対してはより良い結果を示しますが、簡単な質問においてはかえってパフォーマンスを低下させる可能性があります。 論文では、クエリの難易度を評価し、それに応じて適切な戦略を選択するモデルに基づいた「最適な」戦略が開発されました。 8.3 テスト時の計算リソース versus 大規模モデルの事前学習 答えたい興味深い質問は、固定された計算予算（compute budget）の下で、より大きな効果を得られるのは、より大規模なモデルを使用することか、それとも推論時の計算リソースを増やすことかという点です。 ここでは、クエリあたりのコストが同じであると仮定します。なぜなら、推論時に大規模モデルを実行する方が、小規模モデルよりもコストがかかるからです。 彼らの研究によると、難しい質問においては、より大規模なモデルの方が、前述の推論スケーリング戦略を通じて追加の推論計算リソースを得た小規模モデルよりも優れたパフォーマンスを発揮します。 しかし、簡単および中程度の難易度の質問においては、推論時の計算リソースを活用することで、同じ計算予算で 14 倍サイズのモデルと同等のパフォーマンスを達成できることが示されました！ 8.4 テスト時計算リソースのスケーリングの将来性 Llama 3 などオープンウェイトモデルを使用する際、私たちは通常、生成された回答をそのまま採用します。しかし、この論文が指摘するように、推論時の計算リソースを割当てることで、回答の品質は大幅に向上させることができます。（もしモデルをデプロイされる場合は、これは必ず読むべき論文です。） もちろん、大規模で高コストなモデルに対して推論計算予算を増やすと、運用コストはさらに高くなります。しかし、クエリの難易度に基づいて選択的に適用すれば、特定の回答において品質と精度に貴重な向上をもたらすことができ、これはほとんどのユーザーが間違いなく歓迎する点です。（OpenAI、Anthropic、Google はすでに裏側でこのような技術を活用していると仮定しても安全でしょう。） もう一つの魅力的なユースケースは、小規模なオンデバイス大規模言語モデル（LLM: Large Language Model）のパフォーマンスを向上させることです。Apple Intelligence や Microsoft の Copilot PC における大きな発表と投資が示す通り、今後数ヶ月から数年にわたり、このテーマは引き続きホットトピックであり続けるでしょう。 9. 9 月：マルチモーダル LLM パラダイムの比較 2024 年に大きな飛躍を遂げるだろうと考えていた主要な要素の一つが、マルチモーダル LLM です。そしてはい、今年もいくつかのオープンウェイト LLM が登場しました！ ![image](https://substackcdn.com/image/fetch/$s_!jXH1!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ff445a8b5-7b5f-49a4-bfce-20c19b77898d_1600x951.png) 異なる入力モダリティ（音声、テキスト、画像、動画）を受け取り、出力モダリティとしてテキストを返すマルチモーダル LLM のイラスト。 特に私にとって印象深かった論文の一つは、Dai 氏らによる「NVIDIA's NVLM: Open Frontier-Class Multimodal LLMs」（2024 年 9 月）です。これは、2 つの主要なマルチモーダルパラダイムをうまく比較しているからです。 9.1 多モーダル大規模言語モデルのパラダイム 多モーダル LLM を構築する主なアプローチは 2 つあります: 方法 A: ユニファイド埋め込みデコーダーアーキテクチャのアプローチ; 方法 B: クロスモダリティアテンションアーキテクチャのアプローチ。 ![image](https://substackcdn.com/image/fetch/$s_!rOIy!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4ebc87a3-5694-4968-a56d-a9fc0cae52bd_1600x941.png) 多モーダル LLM アーキテクチャを開発するための 2 つの主なアプローチ。 上記の図に示されているように、ユニファイド埋め込みデコーダーアーキテクチャ（方法 A）は、GPT-2 や Llama 3.2 のような修正を加えていない LLM アーキテクチャを模した単一のデコーダーモデルに依存しています。この方法は、画像をテキストトークンと同じ埋め込みサイズを持つトークンに変換し、LLM が連結されたテキストと画像の入力トークンを処理できるようにします。 一方、クロスモダリティアテンションアーキテクチャ（方法 B）は、アテンション層内で直接画像とテキストの埋め込みを統合するために、クロスアテンション機構を組み込んでいます。 さらに詳細に興味がある場合は、今年初めに多モーダル LLM についての記事を執筆しました。ここではこれらの 2 つの方法をステップバイステップで解説しています：「多モーダル LLM の理解 -- 主要な技術と最新モデルへの入門」。 9.2 Nvidia のハイブリッドアプローチ 今年 multimodal（多モーダル）の進展を踏まえると、NVIDIA の論文「NVLM: Open Frontier-Class Multimodal LLMs」は、これらの多モーダルアプローチを包括的な apples-to-apples（同等条件での）比較を行った点で際立っています。単一の方法に焦点を当てるのではなく、直接以下を比較しました： Method A: 統合埋め込みデコーダアーキテクチャ（"decoder-only architecture"、NVLM-D）、 Method B: クロスモーダルアテンションアーキテクチャ（"cross-attention-based architecture"、NVLM-X）、 ハイブリッドアプローチ（NVLM-H）。 ![image](https://substackcdn.com/image/fetch/$s_!3QeO!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F5ef4b49a-bb6b-4c40-9786-e99fc319b405_1600x930.png) 3 つの多モーダルアプローチの概要。（NVLM: Open Frontier-Class Multimodal LLMs 論文からの注釈付き図：https://arxiv.org/abs/2409.11402） 上記の図に要約されている通り、NVLM-D は Method A に、NVLM-X は前述の通り Method B に対応します。ハイブリッドモデル（NVLM-H）は両アプローチの強みを組み合わせています：まず画像サムネイルを入力として受け取り、その後、クロスアテンションを通じて処理される動的な数のパッチにより、より細かな高解像度の詳細を捉えます。 要約すると、主な知見は以下の通りです： NVLM-X: 高解像度画像に対して優れた計算効率を提供します。 NVLM-D: OCR（光学文字認識）関連タスクにおいて高い精度を発揮します。 NVLM-H: 両アプローチの強みを組み合わせ、最適なパフォーマンスを実現します。 9.3 2025 年のマルチモーダル LLM マルチモーダル LLM は非常に興味深い分野です。私は、これらが従来のテキストベースの LLM から見た次の論理的な発展段階だと考えています。OpenAI、Google、Anthropic といった主要な LLM サービスプロバイダの多くは、画像のようなマルチモーダル入力をサポートしています。個人的には、私がマルチモーダル機能を必要とするのはおそらく全体の 1% の場合だけです（通常は「表をマークダウン形式で抽出して」といったようなケースです）。私は、オープンウェイト LLM のデフォルト設定が複雑さを減らすために純粋にテキストベースであるべきだと考えています。同時に、ツールや API が進化していくにつれて、オープンウェイト LLM の選択肢が増え、より広く利用されるようになるだろうとも予想しています。 10. 10 月：OpenAI o1 の推論能力の再現 私が 10 月に選んだのは、Quin とその共著者による「O1 Replication Journey: A Strategic Progress Report -- Part 1 (2024 年 10 月)」です。 OpenAI の ChatGPT o1（および現在の o3）は、推論タスクにおける LLM の性能向上においてパラダイムシフトを象徴しているかのように見られるため、大きな人気を集めています。 OpenAI の o1 の詳細な内容は未だ非公表であり、いくつかの論文がその記述や再現を試みています。では、なぜ私はこれを選んだのでしょうか？その特異な構造と学術研究の現状に関するより広範な哲学的議論が私に強く響いたからです。言い換えれば、他のものとは一線を画す特徴的な何かがあり、それが魅力的な選択となったのです。 10.1 ショートカット学習 vs 旅路学習 この論文の重要なポイントの一つは、図に示されているように、研究者たちが O1 がショートカット学習ではなく、ジャーニー・ラーニングと呼ばれるプロセスを採用しているという仮説を立てていることです。 ![image](https://substackcdn.com/image/fetch/$s_!3yqP!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fe76d574c-b3b9-4a69-ba8c-9e8ba5c9f658_1436x1078.png) 従来、大規模言語モデル（LLM）は正解への経路（ショートカット学習）に基づいて訓練されてきましたが、ジャーニー・ラーニングでは、教師あり微調整が試行錯誤の修正プロセス全体を包含します。O1 レプリケーションレポートからの注釈付き図、https://arxiv.org/abs/2410.18982 このジャーニー・ラーニングのアプローチは、本記事の「8 月：推論時の計算リソースのスケーリングによる LLM の改善」セクションで前述したように、改訂を伴う木ベースまたはビームサーチ手法とある程度類似している点に留意する価値があります。 しかし、微妙な違いは、研究者たちがこの技術を推論時に単に適用するのではなく、モデルの微調整用のジャーニー・ラーニング訓練例を作成している点です。（なお、推論プロセスを拡張するために彼らが使用した技術に関する情報は見つけられませんでした。） 10.2 長い思考の構築 研究者らは、試行錯誤を強調しながら拡張された思考プロセスを導き出すために推論木を構築しました。このアプローチは、有効な中間ステップを通じて正解への直接的な経路を見つけることを優先する従来の手法とは異なります。彼らのフレームワークでは、推論木の各ノードには報酬モデルによって提供された評価が注釈付けされており、そのステップが正しいか間違っているかを示すとともに、その評価を正当化する理由も含まれています。 次に、深層学習モデル deepseek-math-7b-base を教師あり微調整（supervised finetuning）と直接好意最適化（DPO: Direct Preference Optimization）を通じて訓練しました。ここでは 2 つのモデルを訓練しています。 1. まず、従来のショートカット学習パラダイムを使用し、正しい中間ステップのみを提供しました。 2. 次に、提案されたジャーニー学習アプローチを用いてモデルを訓練しました。このアプローチには、正解と不正解を含む思考プロセス 3、バックトラックなどが含まれています。 （補足：各ケースで使用した例はわずか 327 件です！） 以下の図に示すように、ジャーニー学習プロセスは MATH500 ベンチマークデータセットにおいてショートカット学習を大幅に上回りました。 ![image](https://substackcdn.com/image/fetch/$s_!iztP!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0fc97155-9781-4854-ad3a-318b5cb513a3_1490x1152.png) ショートカット学習とジャーニー学習で訓練された大規模言語モデル（LLMs: Large Language Models）。O1 レプリケーションレポートからの注釈付き図、https://arxiv.org/abs/2410.18982 10.3 蒸留 -- 迅速な解決策か？ 1 ヶ月後、チームはもう一つのレポートを公開しました。黄氏らによる「O1 Replication Journey -- Part 2: Surpassing O1-preview through Simple Distillation, Big Progress or Bitter Lesson?」（2024 年 11 月）です。 ここでは、彼らは蒸留（distillation）アプローチを用いました。これは、o1 から思考プロセスを抽出するために注意深いプロンプトを使用し、同じ性能を達成するモデルを訓練するという手法です。この論文は長文のため詳細には立ち入りませんが、長い思考データ収集のコストのトレードオフを要約した興味深い図を紹介したいと考えています。 ![image](https://su

2024年の注目すべきAI研究論文（パート2）

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト