UC バークレーと MIT、MoE モデルを一般ハードウェアで動かす推論エンジン「FreeToken」公開

カリフォルニア大学バークレー校とマサチューセッツ工科大学（MIT）の研究チームは、最先端の Mixture-of-Experts (MoE) モデルと一般消費者向けハードウェアとの間にあるギャップを埋めるオープンソース推論エンジン「FreeToken」を発表しました。このプロジェクトは、Databricks の共同創設者である Matei Zaharia 氏と Ion Stoica 氏、そして Song Han 氏、Kurt Keutzer 氏らによって共著されています。これにより、エッジ AI のパラダイムが転換され、個人用マシンを制約されたデータセンターノードとして扱うのではなく、弾力性があり多様な計算リソースとして管理するアプローチへとシフトします。

スパースな MoE アーキテクチャでは、トークンごとに全パラメータの一部のみが計算されますが、デコード時には数百億個の非アクティブな重みへのルーティングが必要です。データセンター環境では NVLink などの高帯域幅インターコネクトがエクスパート間の転送オーバーヘッドを隠蔽しますが、消費者向けハードウェアでは PCIe のスループット（通常 16〜64 GB/s）やホスト RAM のレイテンシが深刻なデコードのボトルネックとなります。既存のエッジランタイムは静的なエクスパートオフローディングに依存しており、非アクティブな重みがシステム RAM に残ったまま、活性化時に GPU へ同期的にストリーミングされるため、キャッシュミスが発生すると実行が完全に停止してしまいます。

この課題を解決するため、FreeToken は固定されたオフローディングに代わり、「q* ポリシー」と呼ばれる動的な共同スケジューリング方式を採用しています arXiv 論文。キャッシュミス時に GPU を停止させるのではなく、FreeToken はリアルタイムのインターコネクトスループットに応じてトークンの計算を CPU コアと GPU テンソルコアの間で分割します。システムは高速ウェイト形式（FTW）とフルレイヤーのダブルバッファリングを採用し、PCIe 経由でのウェイトストリーミングがアクティブな計算層と完全に重なるようにしています。さらに、弾力性のあるメモリマネージャーが実行時に KV キャッシュエントリと残留するエキスパートスロットの間で VRAM を動的に再割り当てしますが、モデルの再読み込みをトリガーすることはありません。

現代のコーディングアシスタントや自律型エージェントは、頻繁なプロンプトの変更、ツール呼び出しへの応答、思考ブロックによる文脈ウィンドウの絶え間ない変化など、独自の実行パターンを示します。従来のエンジンでは、プレフィックスが変更されると線形 KV キャッシュを破棄し、高コストな全シーケンス再計算を引き起こしてしまいます。FreeToken はセマンティックアンカーチェックポイント機能を統合しており、論理的なタスク境界において中間アテンション状態や反復活性化をキャッシュします。エージェントが中間のツール引数を変更したり、外部の実行出力を注入したりした場合でも、FreeToken はプロンプトキャッシュを無効化せず、既存の部分シーケンス状態を再利用します。

FreeToken の概要（出典：図 1「Bandwidth-Adaptive Execution を用いた効率的なエッジネイティブ MoE サービング」研究論文）

本アーキテクチャは、エコシステム内の他のランタイムと FreeToken を明確に区別しています。

• Ollama や llama.cpp は GGUF 量子化やレイヤーごとのオフロードに最適化されていますが、ホストとデバイス間でのスパースなエキスパートへの動的負荷分割には対応していません。一方、FreeToken は同等の MoE モデルにおいて、デコード速度を 3〜4 倍、プリフィル速度を 6〜30 倍向上させます。

• vLLM や SGLang は、PagedAttention や連続バッチ処理を通じてデータセンターのスループットに特化しており、高い相互接続帯域を前提としています。これは、異種メモリ階層を想定した FreeToken とは異なります。

• KTransformers は静的な CPU/GPU オフロードルールを採用していますが、FreeToken は各レイヤーに対してリアルタイムで閉形式の最適分割を計算します。

論文のベンチマークセクションによると、FreeToken は 8GB の RTX 4060 ラップトップ上で Qwen3.6-35B を約 39 トークン/秒で処理し、RTX 5090 デスクトップでは DeepSeek-V4-Flash（284B）をサーブし、単一のワークステーション GPU で GLM-5.2（753B）を処理しました。CLI とデスクトップクライアントは FlashML.ai および GitHub リポジトリ から入手可能で、Linux と Windows 上で NVIDIA RTX 30、40、50 シリーズの GPU をサポートしています。

Hacker News や Reddit の LocalLLaMA フォーラムなど、コミュニティ全体の反応は、ローカルハードウェアの自律性への高まる期待と、実環境でのエッジスケジューリングに関する技術的な検証を天秤にかけたものとなっています。Hacker News ではエンジニアたちが、帯域幅適応型の MoE 推論と、中古の RTX 3090 や 4080 GPU に標準的な DDR4/DDR5 メモリを組み合わせたような手頃な消費者向けハードウェアを組み合わせることで、クラウド API 利用料を支払うことなく最先端クラスの推論エージェントをセルフホストする障壁が劇的に下がる点を指摘しています。一方、LocalLLaMA のベンチマーク分析や論文の議論スレッドでは、理論的な q* 閉形式計算が、並行するエージェントワークロードにおける実際の CPU ディスパッチ遅延、メモリの競合、そして異なるエキスパートの定着率を正確に反映しているかどうかについて、深い技術的議論が巻き起こっています。手動チューニングされた llama.cpp 設定との比較基準をめぐる議論はあるものの、広範なコンセンサスは明確なパラダイムシフトを示しています。開発者たちは、プロプライエタリな API ロックインからの脱却、エージェントの反復コストをゼロに抑えること、そして自動コーディングワークフローにおける知的財産（IP）のプライバシー保護のために、異種混合のエッジオーケストレーションが不可欠であると考えるようになっています。

著者について

オリムピウ・ポップ

技術執行役員兼エンジニア。環境への影響を最小限に抑えつつ、現実の問題に対する解決策を提供するためにテクノロジーを活用する包括的なアプローチを重視しています。金融ソフトウェアからアイデンティティ管理（IAM）まで、リアルタイムアプリケーションの開発経験が豊富です。

ツールや開発フローの最適化、AIの有無にかかわらずその実現に関心が高く、数百名のエンジニア（サポートエンジニアからアーキテクトまで）を率い、技術組織の構築と運営に携わってきました。

テックコミュニティの構築者として、トランスylvania JUG のファシリテーターを務めるほか、Voxxed Romania や Devoxx UK のプログラム委員会のメンバーです。サイバーセキュリティやオープンソースをテーマにカンファレンススピーカーやポッドキャスターとしても活動し、505updates.com への寄稿も多数行っています。また、Java Advent Calendar の主編集者兼トラブルメーカーでもあります。

もっと見る | 隠す