VibeThinker-3B：Qwen2.5-Coder-3Bを基盤にスペクトルから信号へのポストトレーニングパイプラインで構築された 30 億パラメータの密着型推論モデル

最近の AI の推論における画期的進歩は、主に大規模化によって牽引されており、複雑な認知の閾値を越えるために数十億ものパラメータが投入されてきました。しかし、VibeThinker-3B は全く異なる道筋を描いています。 中国の新浪微博社（Sina Weibo Inc）の研究者たちによって開発されたこの 30 億パラメータモデルは、効率性がその重量級クラスを遥かに凌駕する威力を発揮できることを証明しました。オープンソースの MIT ライセンスの下でリリースされている VibeThinker-3B は、数学、コーディング、STEM（科学・技術・工学・数学）分野といった検証可能なタスクにおいて、自身よりも数百倍も大きなモデルと同等のパフォーマンスを達成します。 VibeThinker-3B とは何か VibeThinker-3B は、Qwen2.5-Coder-3B をベースとしたコンパクトな密結合（dense）モデルです。これはゼロから事前学習されたものではなく、ポストトレーニング（post-training）が施されています。研究チームは、その上で教師あり微調整（SFT: Supervised Fine-Tuning）、強化学習（RL: Reinforcement Learning）、および自己蒸留（self-distillation）を適用しています。 このトレーニングフレームワークは、以前の VibeThinker-1.5B で採用された「スペクトラム・トゥ・シグナル原則（Spectrum-to-Signal Principle: SSP）」を引き継いでいます。SFT は有効な推論経路の広範な空間である「スペクトラム」を構築し、RL はその後、正しい経路である「シグナル」を増幅します。 このモデルが担う役割は一つに絞られています：検証者が回答を確認できるような推論です。研究チームは、オープンドメインの知識タスクにはより大規模な一般用モデルの使用を推奨しています。VibeThinker-3B は設計上、専門特化型（specialist）として機能します。 標準的なスタック上で動作します。モデルの重みには transformers>=4.54.0 が必要です。推論速度を向上させるためには、vLLM==0.10.1 または SGLang>=0.4.9.post6 の使用を推奨しています。BF16（半精度浮動小数点）形式の重みは約 6GB で、単一の GPU でも十分に動作するサイズです。 ![image](https://www.marktechpost.com/wp-content/uploads/2026/06/Screenshot-2026-06-19-at-3.07.21-PM-1.png)https://arxiv.org/pdf/2606.16140v1 ベンチマーク AIME26 において、VibeThinker-3B は 94.3 のスコアを記録しました。研究論文によると、これは DeepSeek V3.2 (671B) や Kimi K2.5 (1T) と同等の性能です。 LiveCodeBench v6 では Pass@1 で 80.2 を達成しました。コードベンチマークである OJBench では 38.6 のスコアであり、最大規模モデルには及びません。HMMT25 では 89.3、BruMO25 では 93.8 に達しています。400 問の IMO レベルの問題セットである IMO-AnswerBench では 76.4 のスコアです。 以下の表は、VibeThinker-3B をより大規模な推論モデルと比較したものです。「+CLR」行はテスト時のスケーリング（test-time scaling）を使用しています。これは Claim-Level Reliability Assessment（主張レベル信頼性評価）を意味します。 モデルパラメータAIME26HMMT25IMO-AnsLCBv6GPQA-D VibeThinker-3B3B94.389.376.480.270.2 VibeThinker-3B +CLR3B97.195.480.6—72.9 GPT-OSS (high)120B93.290.075.681.980.1 DeepSeek V3.2671B94.290.278.380.882.4 GLM-5744B95.897.982.585.586.0 Kimi K2.51T93.395.481.885.087.6 出典：VibeThinker-3B 技術報告書、表 2。GPQA-D は GPQA-Diamond です。 この傾向は一定しています。検証可能な数学とコードにおいては、3B モデルは上位クラスターに位置します。一方、知識依存度の高いベンチマークである GPQA-Diamond では、大規模モデルとの差が依然として明確です。 研究チームはまた、分布外（out-of-distribution）のコーディングテストも実施しました。これは 2026 年 4 月 25 日から 5 月 31 日までの最新の LeetCode の週次および隔週のコンテストを使用しています。モデルは 128 件の初回 Python 提出のうち 123 件に合格しました。これは未知の問題に対する 96.1% の受理率です。 スペクトルから信号へのパイプラインの中身 ポストトレーニング・パイプラインは 4 つの段階で実行されます。各段階は、小規模な推論モデルの異なる弱点を対象としています。 まず、カリキュラムに基づく 2 段階の SFT（Supervised Fine-Tuning: 教師あり微調整）が来ます。第 1 段階では、数学、コード、STEM（科学・技術・工学・数学）、対話、指示従順を広くカバーします。第 2 段階では、推論長さと難易度でフィルタリングされた、より難しく、より長いホライズンのサンプルへとシフトします。多様性探索型蒸留（Diversity-Exploring Distillation）は、両方の段階を通じて複数の有効な解決経路を維持します。 次に、マルチドメインの推論 RL（Reinforcement Learning: 強化学習）が来ます。研究チームは MaxEnt-Guided Policy Optimization (MGPO) を再利用しています。MGPO は、モデルの現在の能力境界付近のプロンプトに重みを付け、そこでは正解と不正解のロールアウトが共存します。トレーニングは数学、コード、STEM の順に逐次的に実行されます。 注目すべき詳細として、VibeThinker-3B は段階的なコンテキスト拡張を廃止しています。研究チームは、このスケールにおいて高頻度の切り捨てウォームアップが長文推論を損なうことを発見しました。そのため、RL では 64K の単一ロング・コンテキストウィンドウを一貫して使用します。 数学 RL には Long2Short 段階が追加されています。これは、正解の経路間で報酬を長さに応じて再配分するものです。より短い正解回答には高い報酬が、より長いものには低い報酬が与えられ、グループ平均は不変に保たれます。目的は、精度を損なうことなく冗長なトークンを減らすことです。 第三に、オフライン自己蒸留（Offline Self-Distillation）により、RL チェックポイントを 1 つの学生モデルに統合します。第四に、インストラクション RL が指示従順性を向上させます。この段階が、IFEval で 93.4、IFBench で 74.5 のスコアを示した理由を説明しています。両方の結果は、推論チューニングが制御可能性を損なっていないことを示しています。 CLR: スケーリングはテスト時に行い、パラメータ数は増加させない Claim-Level Reliability Assessment (CLR) は、本報告書のテスト時のスケーリング手法です。これは回答検証可能なタスク上で動作し、パラメータを追加しません。 この手順には 2 つのステップがあります。まずモデルは問題ごとに K = 32 の軌道（trajectories）を生成します。各軌道から M = 5 の意思決定に関連する主張（claims）と最終回答を抽出します。 次に、モデル自身が検証者として振る舞います。各主張を検証または反証し、二値の判定（binary verdicts）を生成します。CLR はこれらを非線形な軌道信頼度スコアに変換し、1 つでも弱い主張があれば重みが急激に低下します。 回答は同等性に基づいてクラスタリングされ、最も高い信頼度加重された回答が勝利します。この一連の流れは 8 回実行され、平均の Pass@1 が報告されます。CLR は AIME26 で 97.1、BruMO25 で 99.2 に引き上げます。 以下のインタラクティブなデモでは、主張を切り替えてスコアが崩壊する様子を確認できます。またベンチマークを切り替えて、より大規模なモデルとの比較も可能です。 使用例と具体例 研究チームは VibeThinker-3B を専門特化型モデルとして位置づけているため、使用例は検証可能な推論の境界に沿って設定されています。 競争数学の指導：AIME や HMMT スタイルの問題を完全な推論連鎖（chains of reasoning）で解決します。学習ツールとしては、手作業による解答生成やローカルでの自己チェック回答が可能です。 アルゴリズムコーディング支援：96.1% の LeetCode 合格率は、ワンショットでの Python 生成能力が高いことを示唆しています。IDE アシスタントは、コンテスト形式の解答を起草し、非公開テストを実行できます。 コスト意識型の強化学習（RL）やエージェントバックエンド：3B モデルはスケール展開時の運用コストが低く抑えられます。多数の検証可能なサブタスクを実行するチームは、600B 以上の大規模モデルではなく、こちらにリクエストをルーティングできます。 オンデバイス推論：BF16（半精度浮動小数点）形式の重みは、一般的な消費者向け GPU に収まります。エッジ環境やオフライン展開においても、クラウドへの依存なしで推論エンジンを利用可能です。 実行方法：クイックスタート vLLM を使用してサービングすると、OpenAI 互換エンドポイントが公開されます: pip install vllm vllm serve "WeiboAI/VibeThinker-3B" curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "WeiboAI/VibeThinker-3B", "messages": [{"role":"user","content":"Prove there are infinitely many primes."}], "temperature": 1.0, "top_p": 0.95 }' Transformers ライブラリを直接使用する場合も、公式カードの記述とほぼ同様です: from transformers import AutoModelForCausalLM, AutoTokenizer tok = AutoTokenizer.from_pretrained("WeiboAI/VibeThinker-3B", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( "WeiboAI/VibeThinker-3B", torch_dtype="bfloat16", device_map="auto") msgs = [{"role": "user", "content": "Your prompt"}] text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True) inputs = tok([text], return_tensors="pt").to(model.device) out = model.generate(**inputs, max_new_tokens=102400, do_sample=True, temperature=1.0, top_p=0.95) print(tok.decode(out[0][inputs.input_ids.shape[-1]:], skip_special_tokens=True)) 高い max_new_tokens の値が重要です。このモデルは長い推論トレースを生成するため、短い制限では回答が切り捨てられてしまいます。 キーポイント VibeThinker-3B は、検証可能な推論のために Qwen2.5-Coder-3B を基盤とした 3B 密度型（dense model）モデルであり、MIT ライセンスで提供されています。 AIME26 では 94.3 のスコアを記録し、DeepSeek V3.2 (671B) や Kimi K2.5 (1T) と同等の性能を示しています。 CLR（Continuous Learning）によるテスト時スケーリングにより、追加パラメータなしで AIME26 が 97.1、BruMO25 が 99.2 に向上しました。 未見の LeetCode コンテストでは、最初の試行での Python 提出のうち 128 件中 123 件（96.1%）に合格しています。 この性能向上は限定的であり、GPQA-Diamond や広範なオープンドメイン知識においては大規模モデルには及びません。 VibeThinker-3B：スペクトルから信号へのポストトレーニングパイプラインを基盤とした Qwen2.5-Coder-3B 上に構築された 3B 密度推論モデルに関する記事は、MarkTechPost で最初に公開されました。

VibeThinker-3B：Qwen2.5-Coder-3Bを基盤にスペクトルから信号へのポストトレーニングパイプラインで構築された 30 億パラメータの密着型推論モデル

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト