MiniMax のモデルと基盤インフラを深掘り — Olive Song

MiniMax M3 と Together AI が描く、オープンソース AI の次世代インフラと未来

MiniMax は最新モデル「M3」をオープンウェイトで公開し、Together AI がその推論基盤を担当する新たな連携を開始しました。これは単なるモデルのリリースではなく、開発者からのフィードバックループを通じて知能を民主化し、エージェントやマルチモーダル処理に対応したインフラ最適化へと進む重要な転換点です。

オープンソースによる「知能の民主化」戦略

MiniMax が M3 をオープンウェイトで公開する背景には、「知能をすべての人に届ける」というミッションがあります。同社は、オープンソースコミュニティが持つ強力な力を信じており、モデルを公開することで開発者が自由に利用・検証できる環境を整えています。

「開発者がフィードバックやプルリクエストを通じてモデルに貢献し、より強靭なモデルを共に作り上げていくことが可能です」

Dan氏（Together AI 推論担当 VP）もこの姿勢を支持しており、「Open Source は知能を豊かにする」という共通の信念のもと、両社はパートナーシップを結んでいます。MiniMax が提供するモデルアーキテクチャを基盤に、Together AI が最適化を施すことで、より高速で高品質な推論サービスを提供できる体制が整いました。

ゼロから学ぶマルチモーダル：視覚と言語の自然な統合

M3 の最大の特徴は、テキストやコードだけでなく画像・動画も理解する「ゼロからトレーニングされたマルチモーダルモデル」である点です。多くの研究機関では、異なるモダリティを後付けで結合するとモデルが崩壊（collapse）してしまう課題がありましたが、MiniMax は初期段階から視覚データとテキストデータを組み合わせて学習させることに成功しました。

このアプローチにより、アテンションマップ上でも「視覚トークン」と「言語トークン」が自然に相互参照し合う状態が実現されています。結果として、モデルは画像や動画を単なる入力として扱うだけでなく、文脈を深く理解した上で処理できるようになっています。

具体的な活用事例としては、OS を操作してツールを使いこなす「コンピュータエージェント」や、ゲーム開発を支援する機能が挙げられます。特にゲーム開発においては、モデルがコードを書きながら実行環境を操作し、フィードバックループを通じて改善を行うという高度なタスクも可能となっています。

エージェントワークロードへの対応：KV キャッシュと最適化の重要性

従来のチャットボットとは異なり、AI エージェントは数百回にわたる多段階のツール呼び出しやコードベース全体の処理を必要とする「エージェントワークロード」が主流になりつつあります。この変化は、推論スタックの設計そのものを変えることを迫っています。

Dan氏は、チャットワークロードでは数キロバイトのシステムプロンプトと会話履歴が中心でしたが、エージェントワークロードでは「コードベース全体」をモデルに読み込ませる必要があるため、最適化の対象が全く異なる点を強調します。

「エージェントワークロードでは、KV キャッシュ（Key-Value Cache）の管理やルーティング戦略の最適化が不可欠となります。チャットとは異なり、膨大なコンテキストをいかに効率的に保持・参照するかが性能の鍵です」

Together AI は、M3 のアーキテクチャにある「スパースアテンション」などの独自要素に対応するため、既存のカーネルでは対応しきれない部分をゼロから書き起こすなど、日次レベルで最適化を継続しています。

100 万トークン規模のコンテキストを支えるインフラ

M3 は最大 100 万トークンという驚異的なコンテキスト長をサポートしており、これは Together AI のインフラ技術が支えています。Together AI では、分散ファイルシステムのような仕組みを KV キャッシュ管理に導入し、大規模なコンテキストを効率的に処理する基盤を整備しています。

また、カーネル開発におけるベンチマークの重要性についても言及されています。Together AI が公開した「Parallel Kernel Bench」は、未解決の問題を含むベンチマークであり、開発者がここで最適化を行うことで、実際の推論速度向上に直結します。

「特定のベンチマークに過剰適合（bench maxing）することは悪いことではありません。有益なベンチマークで最適化が行われれば、それがそのまま実世界でのモデル加速につながります」

未来の AI：3 年後にはオープンソースが最先端へ

話者たちは現在を「AI の黎明期」と位置づけています。GPU 利用率の向上や、オープンソースモデルがクローズドな最先端モデルに追いつく未来はすぐそこにあると予測しています。

Together AI と MiniMax の連携は、開発者がインフラのカスタマイズ性を高めながら、エージェントやマルチモーダル処理を現実的なアプリケーションとして実装するための重要な指針となっています。オープンソースコミュニティの力を借りてモデルを強化し続けるこのサイクルが、次世代の知能基盤を形作っていくでしょう。