LLM研究論文：2025年リスト（1月〜6月）

LLM研究論文：2025年リスト（1月～6月） 2025年発表のLLM研究論文200本以上をトピック別に整理したコレクション ![](https://substackcdn.com/image/fetch/$s_!CfW_!,w_36,h_36,c_fill,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2F61f4c017-506f-4e9b-a24f-76340dad0309_800x800.jpeg) Sebastian Raschka, PhD2025年7月1日∙ 有料10059シェアご存知の方もいるかもしれませんが、私は（読みたい）研究論文や参照したい論文のリストを随時更新してまとめています。 約半年前に2024年のリストを共有したところ、多くの読者の方に役立ったようです。そこで、今回も同様のことをしようと考えていました。ただし今回は、頻繁に寄せられた一つのフィードバックを取り入れることにしました：「日付順ではなく、トピック別に論文を整理してもらえませんか？」 私が考えたカテゴリーは以下の通りです： 推論モデル - 1a. 推論モデルの学習 - 1b. 推論時（Inference-Time）の推論戦略 - 1c. LLMの評価および／または推論の理解 LLMのためのその他の強化学習手法 その他の推論時スケーリング手法 効率的な学習とアーキテクチャ 拡散ベースの言語モデル マルチモーダル＆視覚言語モデル データと事前学習データセット また、LLM研究が急速に共有され続けていることを受け、このリストを半年ごとの更新に分割することに決めました。こうすることで、リストは消化しやすく、タイムリーなものとなり、質の高い夏の読書材料を探しているすべての方にとって、役立つものになることを願っています。 なお、これは現時点では厳選されたリストに過ぎません。今後の記事では、より興味深い、あるいは影響力のある論文について、大規模なトピック別の記事で再訪し、議論することを計画しています。ご期待ください！ 夏です！それはインターンシップの季節、技術面接、そしてたくさんの学びを意味します。中級から上級の機械学習およびAIトピックを復習する方を支援するため、私は自分の著書『Machine Learning Q and AI』の全30章を、この夏の間無料で公開しています：🔗 https://sebastianraschka.com/books/ml-q-and-ai/#table-of-contents 単に好奇心で何か新しいことを学びたい方でも、面接の準備をしている方でも、これがお役に立てば幸いです。楽しい読書を。面接を受ける方は、幸運を祈ります！ 1. 推論モデル 今年の私のリストは、推論モデルに非常に重点を置いています。そこで、これを3つのサブカテゴリーに細分化することにしました：学習、推論時スケーリング、そしてより一般的な理解／評価です。 1a. 推論モデルの学習 このサブセクションは、LLMの推論能力を向上させるために特別に設計された学習戦略に焦点を当てています。ご覧になる通り、最近の進歩の多くは（検証可能な報酬を用いた）強化学習を中心としており、これについては以前の記事でより詳細に取り上げました。 ![](https://substackcdn.com/image/fetch/$s_!pmzH!,w_140,h_140,c_fill,f_auto,q_auto:good,fl_progressive:steep,g_auto/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F9c02ecf0-cb1d-4f62-a160-6d07636b99fd_1600x1384.png) LLM推論のための強化学習の現状 ![](https://substackcdn.com/image/fetch/$s_!A5c7!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fbac0fd9e-2095-43c3-95be-b9a5b35f0147_941x477.png) Reinforcement Pre-Training（https://arxiv.org/abs/2506.08007）からの注釈付き図 1月8日, Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Thought, https://arxiv.org/abs/2501.04682 1月13日, The Lessons of Developing Process Reward Models in Mathematical Reasoning, https://arxiv.org/abs/2501.07301 1月16日, Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models, https://arxiv.org/abs/2501.09686 1月20日, Reasoning Language Models: A Blueprint, https://arxiv.org/abs/2501.11223 1月22日, Kimi k1.5: Scaling Reinforcement Learning with LLMs, https://arxiv.org/abs//2501.12599 1月22日, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, https://arxiv.org/abs/2501.12948 2月3日, Competitive Programming with Large Reasoning Models, https://arxiv.org/abs/2502.06807 2月5日, Demystifying Long Chain-of-Thought Reasoning in LLMs, Demystifying Long Chain-of-Thought Reasoning in LLMs, https://arxiv.org/abs/2502.03373 2月5日, LIMO: Less is More for Reasoning, https://arxiv.org/abs/2502.03387 2月5日, Teaching Language Models to Critique via Reinforcement Learning, https://arxiv.org/abs/2502.03492 2月6日, Training Language Models to Reason Efficiently, https://arxiv.org/abs/2502.04463 2月10日, Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning, https://arxiv.org/abs/2502.06781 2月10日, On the Emergence of Thinking in LLMs I: Searching for the Right Intuition, https://arxiv.org/abs/2502.06773 2月11日, LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters!, https://arxiv.org/abs/2502.07374 2月12日, Fino1: On the Transferability of Reasoning Enhanced LLMs to Finance, https://arxiv.org/abs/2502.08127 2月13日, Adapting Language-Specific LLMs to a Reasoning Model in One Day via Model Merging - An Open Recipe, https://arxiv.org/abs/2502.09056 2月20日, Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning, https://arxiv.org/abs/2502.14768 2月25日, SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution, https://arxiv.org/abs/2502.18449 3月4日, Learning from Failures in Multi-Attempt Reinforcement Learning, https://arxiv.org/abs/2503.04808 3月4日, The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models, https://arxiv.org/abs/2503.02875 3月10日, R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning, https://arxiv.org/abs/2503.05592 3月10日, LMM-R1: Empowering 3B LMMs with Strong Reasoning Abilities Through Two-Stage Rule-Based RL, https://arxiv.org/abs/2503.07536 3月12日, Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning, https://arxiv.org/abs/2503.09516 3月16日, Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models, https://arxiv.org/abs/2503.13551 3月20日, Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't, https://arxiv.org/abs/2503.16219 3月25日, ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning, https://arxiv.org/abs/2503.19470 3月26日, Understanding R1-Zero-Like Training: A Critical Perspective, https://arxiv.org/abs/2503.20783 3月30日, RARE: Retrieval-Augmented Reasoning Modeling, https://arxiv.org/abs/2503.23513 3月31日, Open-Reasoner-Zero: An Open Source Approach to Scaling Up Reinforcement Learning on the Base Model, https://arxiv.org/abs/2503.24290 3月31日, JudgeLRM: Large Reasoning Models as a Judge, https://arxiv.org/abs/2504.00050 4月7日, Concise Reasoning via Reinforcement Learning, https://arxiv.org/abs/2504.05185 4月10日, VL-Rethinker: Incentivizing Self-Reflection of Vision-Language Models with Reinforcement Learning, https://arxiv.org/abs/2504.08837 4月11日, Genius: A Generalizable and Purely Unsupervised Self-Training Framework For Advanced Reasoning, https://arxiv.org/abs/2504.08672 4月13日, Leveraging Reasoning Model Answers to Enhance Non-Reasoning Model Capability, https://arxiv.org/abs/2504.09639 4月21日, Learning to Reason under Off-Policy Guidance, https://arxiv.org/abs/2504.14945 4月22日, Tina: Tiny Reasoning Models via LoRA, https://arxiv.org/abs/2504.15777 4月29日, Reinforcement Learning for Reasoning in Large Language Models with One Training Example, https://arxiv.org/abs/2504.20571 4月30日, Phi-4-Mini-Reasoning: Exploring the Limits of Small Reasoning Language Models in Math, https://arxiv.org/abs/2504.21233 5月2日, Llama-Nemotron: Efficient Reasoning Models, https://arxiv.org/abs/2505.00949 5月5日, RM-R1: Reward Modeling as Reasoning, https://arxiv.org/abs/2505.02387 5月6日, Absolute Zero: Reinforced Self-play Reasoning with Zero Data, https://arxiv.org/abs/2505.03335 5月12日, INTELLECT-2: A Rea

LLM研究論文：2025年リスト（1月〜6月）

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト