JetBrains が 12B モデルの混合専門家モデル「Mellum2」を発表

[記事一覧に戻る](https://huggingface.co/blog) JetBrains は、120 億パラメータの混合専門家（Mixture-of-Experts, MoE）モデル「Mellum2」を発表しました。このモデルは、大規模言語モデルの効率性と性能を両立させることを目指して設計されています。 Mellum2 は、複数の専門化されたサブネットワーク（エキスパート）を組み合わせて動作するアーキテクチャを採用しています。これにより、入力に応じて必要な計算リソースのみが動的に割り当てられ、推論時のコスト削減と速度向上を実現します。 同モデルは、コード生成、自然言語処理、および多様なタスクにおける高い精度を誇ります。JetBrains の開発者向けツールとの統合も強化されており、ソフトウェアエンジニアリングのワークフローへのスムーズな組み込みが期待されています。 詳細な技術仕様やベンチマーク結果については、公式ブログ記事および Hugging Face のリポジトリをご参照ください。 このモデルは、複雑なタスクを効率的に処理するために設計された最新のアーキテクチャを採用しています。各専門家が特定の分野に特化することで、全体としての性能と速度の両方を向上させています。 技術的な詳細については、後ほど解説いたしますが、まずはその基本的な仕組みと利点についてご理解ください。 Mellum2 は、大規模言語モデルの限界を突破し、より少ない計算リソースで高い精度を実現することを目指しています。今後の開発において重要な役割を果たすことが期待されています。 - Mellum2 は、自然言語とコードをゼロから学習した 12B パラメータの Mixture-of-Experts モデルです。 - このモデルはトークンあたり 2.5B パラメータのみを活性化するため、高スループットかつ低遅延な推論に効率的です。Mellum2 は、ルーティング、RAG（Retrieval-Augmented Generation）、要約、サブエージェント、高スループットのコーディング機能、およびプライベートデプロイメントに使用できます。 - Apache 2.0 ライセンスの下で公開されています。 - 同規模のモデルと比較して、Mellum2 は競争力のあるベンチマーク性能を発揮しつつ、推論速度を 2 倍以上向上させています。 - Hugging Face でモデルをダウンロード: https://huggingface.co/collections/JetBrains/mellum-2 - アーキテクチャの詳細、トレーニング設定、ベンチマーク、評価手法については、完全な技術レポートをご覧ください: https://arxiv.org/pdf/2605.31268 今日、私たちは低遅延のテキストおよびコードワークロードに最適化されたオープンソースの Mixture-of-Experts モデル「Mellum2」をリリースします。 元々 Mellum はコード補完モデルとして始まりました。Mellum2 では、その基盤を広げ、自然言語とソフトウェアエンジニアリングのより広範なタスクに対応しつつ、効率的な推論とデプロイ可能性に焦点を維持しています。 現代の AI システムでは、ルーティング、検索、要約、計画、検証、ツール利用など、複数のモデル呼び出し increasingly に依存するようになっています。これらの操作の多くは遅延に敏感であり、必ずしも最大規模のモデルを必要としません。 Mellum2 はこうしたワークロードを対象としています。 ## ベンチマークハイライト 技術レポートでは、コード生成、推論、科学、数学の各ベンチマークにおいて Mellum2 を評価しました。 Mellum2 は同規模のオープンモデルと競合する性能を持ちながら、推論速度は 2 倍以上高速であり、高スループットな本番環境ワークロードに適しています。 モデルアーキテクチャ Mellum2 は Mixture-of-Experts モデル（MoE）です： モデル 総パラメータ数 トークンあたりのアクティブパラメータ数 モダリティ ライセンス Mellum2 12B 2.5B テキストとコード Apache 2.0 MoE アーキテクチャは、モデルの総容量を高い状態に保ちつつ、各トークンに対してパラメータの一部のみを活性化します。これにより推論がより効率的になり、リアルタイムワークロードにおけるサービングコストの削減にも寄与します。 Mellum2 は意図的にマルチモーダルタスクではなく、テキストとコードに焦点を当てています。この専門化により、ソフトウェアエンジニアリング向けワークロードにおいてモデルはコンパクトかつ効率的に保たれています。 ## 主要なユースケース ## ルーティングとオーケストレーション Mellum2 は、プロンプト分類、ツール選択、中間の制御フローステップなどを含むマルチモデルシステムにおいて、軽量なルーティングおよびオーケストレーションモデルとしてよく機能します。 ## RAG パイプライン このモデルは、コンテキスト圧縮、要約、検索後の後処理など、レイテンシに敏感な検索パイプラインに適しています。 ## サブエージェント Mellum2 は、計画、検証、変換、コンテキスト準備などのエージェントのサブタスクに使用でき、中間操作のために大規模モデルを呼び出す必要性を減らすことができます。 ## プライベートデプロイ Mellum2 はオープンかつ効率的に提供されるため、独自コードや内部データを含むセルフホスト環境でのデプロイが可能です。 ## なぜスコープが明確なモデルが重要なのか AI システムが成熟するにつれ、最も効果的なアーキテクチャは単一の巨大なものから、より分業化されたものへと変化しています。一つの最先端モデルは強力ですが、本番環境のシステムではしばしば、複数の専門コンポーネントが連携して動作する必要があります：情報検索機能（retrievers）、ルーティング機能（routers）、コード認識型モデル（code-aware models）、検証機能（validators）、ツール呼び出し機能（tool callers）、そして大規模な推論モデルなどです。私たちは Mellum2 を「焦点を絞った」モデルと捉えています。これは、より大きな AI システム内で高頻度で発生するタスクに最適化された、高速かつスコープが明確なモデルです。その目的は、スタック内のすべてのモデルを置き換えることではありません。むしろ、スタック全体をより高速に、低コストで、制御しやすくすることにあります。 ## Mellum2 の始め方 ソフトウェアエンジニアリングのための AI システム（IDE 内、RAG パイプラインの一部、エージェントワークフローの一環、あるいはプライベートインフラ上）を構築している場合、Mellum2 は [すぐに試すことができます](https://huggingface.co/collections/JetBrains/mellum-2)。

JetBrains が 12B モデルの混合専門家モデル「Mellum2」を発表

背景や根拠まで確認しますか？

調べる

選ぶ

サイト