Hugging Face、エッジ向け MoE 推論システム「FreeToken」を発表

記事の3ポイント

1. 1

   エッジ環境への適応設計

   FreeToken は個人用マシンを単なる小型 GPU として扱わず、エージェントワークロードの継続的な変化やハードウェアの非均質性を考慮した統合推論プラットフォームとして再設計された。

2. 2

   動的リソースマッピング

   固定されたオフローディング戦略に依存せず、利用可能な実際のリソースに基づいて計算とモデル状態を継続的にマッピングするランタイム管理を実現している。

3. 3

   大規模モデルのローカル実行

   8GB のラップトップ GPU からワークステーション GPU まで幅広いハードウェアで動作し、35B モデルから 753B モデル（GLM-5.2）までの実行を可能にする。