JetBrains の Mellum 2（49 分読み）

[PDF を表示](https://arxiv.org/pdf/2605.31268) [HTML（実験的）](https://arxiv.org/html/2605.31268v1) ** 要約：Mellum 2 を発表します。これは、1 トークンあたり 25 億パラメータが活性化するオープンウェイトの 120 億パラメータ Mixture-of-Experts (MoE) 言語モデルです。Mellum 2 はソフトウェアエンジニアリングに特化した汎用言語モデルであり、コード生成と編集、デバッグ、多段階推論、ツール使用および関数呼び出し、エージェント型コーディング、対話型プログラミング支援を網羅しています。これは完了指向の 40 億パラメータ密度モデルである Mellum の後継モデルです。アーキテクチャは Mixture-of-Experts (64 エキスパート中 8 が活性) を基盤とし、Grouped-Query Attention (4 つの KV ヘッド付き)、4 レイヤーに 3 レイヤー分の Sliding Window Attention、および補助的な事前学習目的と推測デコーディング用の内蔵ドラフトモデルの両方として機能する単一の Multi-Token Prediction ヘッドを組み合わせました。各選択は、コモディティ GPU における推論効率を設計制約としたアブレーション検証によって裏付けられています。事前学習は、多様なウェブデータから厳選されたコードおよび数学コンテンツへと段階的に混合比率をシフトさせる 3 フェーズのカリキュラムを通じて、約 10.6 トリリオントークンにわたって行われます。これは Muon オプティマイザを用いて FP8 ハイブリッド精度で最適化され、線形減衰でゼロに至る Warmup-Hold-Decay スケジュールで学習されます。事前学習済みベースモデルは、レイヤー選択型の YaRN を用いて 128K コンテキストウィンドウに拡張され、その後 2 つの段階（教師あり微調整に続く RLVR）でポストトレーニングが行われます。その結果、直接回答する Instruct モデルと、最終回答の前に明示的な推論トレースを出力する Thinking モデルという 2 つのリリース版が得られます。コード生成、数学・推論、ツール使用、知識、安全性の各ベンチマークにおいて、Mellum 2 は 40 億〜140 億パラメータ範囲のオープンウェイトベースラインと競合する性能を示しつつ、25 億パラメータ密度モデルに相当するトークンあたりの計算量で動作します。私たちは、アーキテクチャ決定、データパイプライン、トレーニングレシピに関する本報告書とともに、ベース、インストラクション、思考の各チェックポイントを Apache 2.0 ライセンスの下で公開します。 ** 主題: コンピュータ言語 (cs.CL) 引用形式: [arXiv:2605.31268](https://arxiv.org/abs/2605.31268) [cs.CL] (またはこのバージョンについては [arXiv:2605.31268v1](https://arxiv.org/abs/2605.31268v1) [cs.CL]) [https://doi.org/10.48550/arXiv.2605.31268](https://doi.org/10.48550/arXiv.2605.31268) DataCite 経由の arXiv 発行 DOI ## 提出履歴 From: Nikiita Pavlichenko [[メールを表示](https://arxiv.org/show-email/4681a0df/2605.31268)] [v1]** 2026 年 5 月 29 日 (金) 13:01:11 UTC (1,508 KB)

JetBrains の Mellum 2（49 分読み）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト