適応型並列推論：効率的な推論スケーリングの新たなパラダイム

**適応型並列推論の概要。** 推論モデルが、独立したサブタスクをいつ分解・並列化するか、同時にいくつのスレッドを生成するか、そして問題に応じてそれらをどう調整するかを、*自ら決定できる*としたらどうでしょうか？私たちは、特に適応型並列推論に関する分野における最近の進展について詳細な分析を提供します。 開示：本投稿は、適応型並列推論に関する景観調査（ランドスケープ・サーベイ）と視点の両方の側面を含んでいます。著者の一人である Tony Lian は、以下で議論される手法の一つである ThreadWeaver ([Lian et al., 2025](https://doi.org/10.48550/arXiv.2512.07843)) の共同リーダーを務めました。著者たちは、各アプローチをその独自性に基づいて提示することを目的としています。 ## モチベーション 大規模言語モデル（LLM）の推論能力における最近の進展は、主にデータとパラメータのスケーリングに加え、推論時のスケーリングによって牽引されてきました ([OpenAI et al., 2024](https://doi.org/10.48550/arXiv.2412.16720); [DeepSeek-AI et al., 2025](https://doi.org/10.1038/s41586-025-09422-z))。中間ステップ、バックトラック（後退）、探索を通じて明示的に推論トークンを出力するモデルは、現在、数学、コーディング、エージェントベンチマークにおいて支配的な地位を占めています。これらの振る舞いにより、モデルは代替仮説を検索し、以前のミスを修正し、単一の解決策に固執するのではなく結論を合成することが可能になります ([Wen et al., 2025](https://doi.org/10.48550/arXiv.2509.04475))。 問題は、逐次的推論が探索量の増加に伴って線形にスケーリングしてしまう点にあります。逐次的推論のトークンを増やすことにはコストがかかり、モデルが実効的なコンテキスト制限を超えてしまうリスクがあります ([Hsieh et al., 2024](https://doi.org/10.48550/arXiv.2404.06654))。中間の探索パスが蓄積されることで、モデルは文脈内の情報を注意する際に、ノイズ（distractors）の中から正しい経路を特定することが難しくなり、その結果としてモデル性能が低下します。これは**コンテキスト・ロト** (context-rot) とも呼ばれます ([Hong, Troynikov and Huber, 2025](https://research.trychroma.com/context-rot))。また、推論の遅延も推論長さに比例して増加します。探索と計画に数百万トークンを要する複雑なタスクにおいては、ユーザーが回答を待つのに数十分甚至いは数時間かかることも珍しくありません ([Qu et al., 2025](https://doi.org/10.48550/arXiv.2503.21614))。出力シーケンス長の次元に沿ってスケーリングを続けるにつれ、推論はより遅くなり、信頼性は低下し、計算リソースの消費も増大します。そこで、並列推論が自然な解決策として浮上してきました。逐次的に探索パスを進め ([Gandhi et al., 2024](https://doi.org/10.48550/arXiv.2404.03683))、各ステップでコンテキストウィンドウを蓄積するのではなく、モデルが複数のスレッドを独立して（スレッドは互いの文脈に依存しない）、かつ並行して（スレッドは同時に実行可能）探索できるようにします。 ![image](https://bair.berkeley.edu/static/blog/adaptive-parallel-reasoning/figure-01-sequential-vs-parallel.png)** *Figure 1: Sequential vs. Parallel Reasoning* 近年、合成環境（例えばカウントダウンゲーム ([Katz, Kokel and Sreedharan, 2025](https://doi.org/10.48550/arXiv.2508.02900))）や実世界の数学問題、一般的な推論タスクにおいて、このアイデアを探求する研究が蓄積されつつあります。 ## 固定並列処理から適応的制御へ 既存のアプローチは、並列推論が有効であることを示していますが、その多くはまだモデル外で並列構造を決定しており、モデル自身に選択させるものではありません。 単純なフォーク・アンド・ジョイン。** - 自己一貫性/多数決投票 — 複数の完全な推論トレースを独立してサンプリングし、各々から最終回答を抽出して、最も頻出するものを返す (Wang et al., 2023)。 - Best-of-N (BoN) — 自己一貫性と似ているが、多数決投票の代わりに訓練された検証器を用いて最良の解を選択する (Stiennon et al., 2022)。 - これらは実装は簡易だが、経路が独立してサンプリングされるため、枝間で冗長な計算が発生することが多い。 ヒューリスティックに基づく構造化探索。** - 思考のツリー/グラフ/スケルトン — 既知の探索アルゴリズム (BFS/DFS) を用いて複数の代替「思考」を検索し、LLM ベースの評価によって不要な枝を剪定する一連の構造的分解手法 (Yao et al., 2023; Besta et al., 2024; Ning et al., 2024)。 - Monte-Carlo Tree Search (MCTS) — ランダムロールアウトのサンプリングによってノード値を推定し、Upper Confidence Bound (UCB) スタイルの探索・活用のバランス（Xie et al., 2024; Zhang et al., 2024）を用いて探索木を展開します。 - これらの手法は単純なフォーク＆ジョインよりも改善されていますが、タスクを重複しないサブタスクに分解する戦略に関する事前知識が必要であり、その戦略が常に既知であるとは限りません。 **最近のバリアント。** - ParaThinker — 2 つの固定ステージで動作するようにモデルを訓練します。最初のステージでは複数の推論スレッドを並列に生成し、次のステージでそれらを統合します。彼らは、推論中の独立性と要約時の制御された統合を、2 フェーズのアテンションマスクを通じて強制するために、学習可能なコントロールトークン () と思考固有の位置埋め込みを導入しました (Wen et al., 2025)。 - GroupThink — 複数の並列推論スレッドは、トークンレベルで互いの部分的な進捗を参照し、生成途中に適応します。独立したリクエスト上で動作する従来の同時処理手法とは異なり、GroupThink は単一の LLM が複数の相互依存する推論経路を同時に生成します (Hsu et al., 2025)。 - Hogwild! Inference — 複数の並列推論スレッドは KV キャッシュを共有し、明示的な調整プロトコルなしでタスクの分解方法を決定します。ワーカーは RoPE を使用して個別の KV ブロックを異なる順序でつなぎ合わせながら再計算を行わずに、共有アテンションキャッシュへ同時に生成します (Rodionov et al., 2025)。 ![image](https://bair.berkeley.edu/static/blog/adaptive-parallel-reasoning/figure-02-strategies.png)** *Figure 2: Various Strategies for Parallel Reasoning* 上記の手法には共通する限界があります。すなわち、並列化を行うかどうか、どの程度の並列化を行うか、そして探索戦略をどうするかという決定が、その問題が実際にそれらの恩恵を受けるかどうかに関係なく、モデルに強制的に課される点です。しかし、異なる問題には異なるレベルの並列化が必要であり、これが並列化の有効性を決める上で極めて重要な要素となります。例えば、「25+42 はいくつですか？」という問いと「単位長さの線分を 180°回転させるために必要な最小の平面領域はどれですか？」という問いに対して、同じ並列構造を適用するフレームワークは、前者では計算資源を無駄にし、後者ではおそらく不適切な分解戦略を用いていることになります。上記で説明したアプローチでは、モデルはこの適応的な振る舞いを学習していません。そこで自然に浮かび上がる疑問があります。「もしモデル自身が、問題に応じて並列化を行うべきかどうか、どの程度のスレッドを生成すべきか、そしてそれらをどう調整すべきかを自ら決定できたらどうなるでしょうか？」** 適応並列推論（Adaptive Parallel Reasoning）は、並列化をモデルの生成制御フローの一部とすることでこの問いに答えます。形式的には、適応性とは、推論時に**並列演算と逐次演算の間で計算リソースを動的に割り当てる**モデルの能力を指します。言い換えれば、適応並列推論（APR）機能を備えたモデルは、制御フローを調整する方法、つまりシーケンスを逐次的に生成すべきか並列的に生成すべきかを学習しています。 重要な点として、適応並列推論という概念は『言語モデルを用いた適応並列推論の学習』（*Learning Adaptive Parallel Reasoning with Language Models*）（[Pan et al., 2025](https://doi.org/10.48550/arXiv.2504.15466)）という研究によって導入されましたが、これは特定の手法ではなくパラダイムです。本記事全体を通じて、**APR**はパラダイムを指し、「**APR 手法**」は Pan et al. (2025) の具体的な実装を指します。 この変化は3つの理由から重要です。**Tree-of-Thoughtsと比較して、APR は分解にドメイン固有のヒューリスティックを必要としません。** 強化学習（RL）において、モデルは試行錯誤を通じて*汎用的な*分解戦略を学習します。実際、モデルは、前のステップの自己検証と並行して次のステップを実行する、または主要なアプローチをバックアップで補完するなど、手動設計が困難な方法で有用な並列化パターンを発見します ([Yao et al., 2023](https://doi.org/10.48550/arXiv.2305.10601); [Wu et al., 2025](https://doi.org/10.48550/arXiv.2512.07461); [Zheng et al., 2025](https://doi.org/10.48550/arXiv.2509.07980))。 **BoN（Best-of-N）と比較して、APR は冗長な計算を回避します。** APR モデルは分岐する前に、各並列スレッドが何を行うかを制御できます。したがって、APR は独立したスレッドに割り当てる前に、重複しない一意のサブタスクセットを生成することを学習できます ([Wang et al., 2023](https://doi.org/10.48550/arXiv.2203.11171); [Stiennon et al., 2022](https://doi.org/10.48550/arXiv.2009.01325); [Pan et al., 2025](https://doi.org/10.48550/arXiv.2504.15466); [Yang et al., 2025](https://doi.org/10.48550/arXiv.2506.09991))。 **適応型でないアプローチと比較して、APR は並列化を行わないことを選択できます。** 適応型モデルは、問題の複雑さと並列化の複雑さおよびオーバーヘッドを比較し、並列化のレベルを調整できます ([Lian et al., 2025](https://doi.org/10.48550/arXiv.2512.07843))。 実際には、モデルが並列推論と逐次推論のどちらを行うかを制御する特殊なトークンを出力することで実装されます。以下は ThreadWeaver スタイルの簡略化されたトレース例です：1 つのブロックの下に 2 つのアウトラインと 2 つのパスがあり、その後スレッドが単一のボックス囲み回答で合意します。 ![image](https://bair.berkeley.edu/static/blog/adaptive-parallel-reasoning/figure-03-threadweaver-trajectory.png)** *Figure 3: Example of an Adaptive Parallel Reasoning Trajectory from ThreadWeaver, manually condensed for ease of illustration.* ![image](https://bair.berkeley.edu/static/blog/adaptive-parallel-reasoning/figure-04-special-tokens.png) *Figure 4: Special Tokens Variants across Adaptive Parallel Reasoning Papers* ## 適応的並列推論のための推論システム 実際に並列ブランチを実行するにはどうすればよいでしょうか。私たちはコンピュータシステム、特にマルチスレッド処理とマルチプロセス処理からインスピレーションを得ています。この研究の多くは、フォーク・ジョイン設計を活用したものと見なすことができます。 推論時には、実質的にモデルにマップ・リデュース操作を実行させることになります：** - 問題をサブタスク/スレッドに分割し、並列処理する - それらを結合して最終回答とする ![image](https://bair.berkeley.edu/static/blog/adaptive-parallel-reasoning/figure-05-fork-join.png)** *Figure 5: Fork-join Inference Design* 具体的には、モデルはサブタスクのリストに遭遇します。その後、各サブタスクをプリフィルし、推論エンジンが処理するために独立したリクエストとして送信します。これらのスレッドは、終了トークンに到達するか最大長を超えるまで並列にデコードされます。このプロセスは、すべてのスレッドがデコードを終了するまでブロックされ、その後結果を集約します。これはさまざまな適応型並列推論アプローチで共通しています。しかし、集約中に一つの課題が生じます：ブランチで生成されたコンテンツを KV キャッシュレベルで容易に集約できないことです。これは、独立したスレッド内のトークンが同じ位置 ID で始まるため、エンコーディングの重複が発生し、KV キャッシュを再度結合する際に標準的ではない動作を引き起こすからです。同様に、独立したスレッドは互いに注意（アテンション）しないため、その連結された KV キャッシュ結果は因果関係のない注意パターンとなり、これはベースモデルがトレーニング中に経験していないものです。 この課題に対処するため、分野は推論エンジンを変更するか、それを回避して作業するかのどちらかによって定義される、集約プロセスを実行する方法に関する二つの学派に分裂します。 Multiverse は、結合フェーズを跨いで KV キャッシュを再利用するように推論エンジンを修正します。Multiverse ([Yang et al., 2025](https://doi.org/10.48550/arXiv.2506.09991)) のメモリ管理について深く掘り下げる前に、まず「結合」フェーズまでの KV キャッシュの扱い方について理解しましょう。各独立したスレッドがプレフィックスシーケンス、つまりサブタスクのリストを共有している点に注目してください。最適化を行わない場合、各スレッドはプレフィックスシーケンスに対してプリフィル（初期化）を行い、KV キャッシュを再計算する必要があります。しかし、[SGLang](https://github.com/sgl-project/sglang) の RadixAttention ([Sheng et al., 2023](https://doi.org/10.48550/arXiv.2312.07104)) を用いることで、この冗長性を回避できます。RadixAttention は複数のリクエストをラジックスツリー（要素のシーケンスを持つトライ、すなわち接頭辞木）に整理します。これは単一の要素ではなく、異なる長さの要素シーケンスで構成される構造です。これにより、新たに KV キャッシュエントリが必要となるのは、独立したスレッドでの生成から生じるものだけになります。 ![image](https://bair.berkeley.edu/static/blog/adaptive-parallel-reasoning/figure-06-radix.png) *図 6: RadixAttention の KV キャッシュ管理戦略* さて、すべてが順調に進めば、すべての独立したスレッドが推論エンジンから戻ってきたことになります。現在の目標は、これらを単一のシーケンスに統合して、次のステップのデコーディングを継続する方法を見出すことです。実は、この統合段階において、これらの独立したスレッドの KV キャッシュ（Key-Value Cache）を再利用することができます。具体的には、Multiverse ([Yang et al., 2025](https://doi.org/10.48550/arXiv.2506.09991))、Parallel-R1 ([Zheng et al., 2025](https://doi.org/10.48550/arXiv.2509.07980))、および NPR ([Wu et al., 2025](https://doi.org/10.48550/arXiv.2512.07461)) は推論エンジンを変更し、各スレッドによって生成された KV キャッシュをコピーするとともに、ページテーブルを編集して非連続的なメモリブロックを単一の KV キャッシュシーケンスに結合します。これにより、2 回目のプリフィル（Prefill）における冗長な計算を回避し、既存の KV キャッシュを可能な限り再利用することができます。しかし、このアプローチにはいくつかの重大な制限があります。 まず、このアプローチでは推論エンジンを変更して標準的ではないメモリ処理を行う必要があり、予期せぬ動作を引き起こす可能性があります。具体的には、合成リクエストが以前の要求からの KV キャッシュを参照するため、システムに脆弱性が生じ、不適切なポインタの発生可能性が生じます。別のリクエストが入力され、合成リクエストが完了する前に参照された KV キャッシュが退去させられると、そのリクエストは停止して前のスレッド要求の再プリフィルリングを開始する必要があります。この問題により、Multiverse の研究者たち ([Yang et al., 2025](https://doi.org/10.48550/arXiv.2506.09991)) は推論エンジンが処理できるバッチサイズを制限しており、スループットが制約されています。 ![image](https://bair.berkeley.edu/static/blog/adaptive-parallel-reasoning/figure-07-kv-stitch.png) *Figure 7: Multiverse 推論中の KV キャッシュ「ステッチング」* 第二に、このアプローチはモデルがシーケンスを認識する方法を変更するため、事前学習されていない分布シフトが生じ、行動を整合させるためにより広範なトレーニングが必要となります。具体的には、このように KV キャッシュを結合すると、標準的ではない位置エンコーディングを持つシーケンスが作成されます。独立したスレッド生成中は、すべてのスレッドが同じ位置インデックスで開始され、前のサブタスクに注意を向けますが、互いには注意を向けません。したがって、スレッドが再び結合されると、結果として得られる KV キャッシュは標準的ではない位置エンコーディングを持ち、因果的なアテンションを使用しません。そのため、このアプローチでは広範なトレーニングが必要です

適応型並列推論：効率的な推論スケーリングの新たなパラダイム

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

関連記事

調べる

選ぶ

サイト