単一 GPU で 753B モデルを動作させるエッジネイティブ MoE サーバー「FreeToken」

記事の3ポイント

1. 1

   エッジ環境での超大型モデル実行の実現

   FreeToken は個人用マシンを統合された弾力的な推論プラットフォームとして扱い、CPU、GPU、メモリ、インターコネクト帯域を動的にマッピングすることで、753B パラメータの GLM-5.2 モデルを単一のワークステーション GPU で動作させることに成功した。

2. 2

   既存エンジンが抱える失敗モードの解消

   研究チームは従来のエンジンが抱える「Prefill によるスパース性の破壊」や「静的配置によるデコードトラフィックのミスマッチ」という3つの失敗モードを特定し、MoE モデルにおける非アクティブな専門家（Experts）をホストメモリからオンデマンドで実行パスに組み込むことで解決した。

3. 3

   Apache-2.0 ライセンスでの公開と実用化

   FreeToken は GitHub で Apache-2.0 ライセンスの下に公開され、PyPI 経由や Windows/Linux 向けのワンクリックデスクトップアプリとして提供されており、OpenAI および Anthropic と互換性のあるエンドポイントを標準でサポートしている。