フリートークン、個人端末向けエッジネイティブ MoE 推論システムを公開

記事の3ポイント

1. 1

   エッジネイティブなアーキテクチャ設計

   FreeToken は個人用マシンを単なる小型GPUとして扱うのではなく、エージェントワークロードの変化やハードウェアの異種混合リソースに対応する統合的な推論プラットフォームとして再定義している。

2. 2

   動的なリソースマッピングとオフローディング

   固定されたオフローディング戦略に依存せず、利用可能な実際のハードウェア資源に基づいて計算とモデル状態を継続的にマッピングする手法を採用している。

3. 3

   大規模モデルのローカル実行の実現

   8GB のラップトップ GPU からワークステーション GPU まで幅広いハードウェアで動作し、ラップトップでは 35B モデル、ゲーミングデスクトップでは 284B モデル、単一のワークステーション GPU では 753B の GLM-5.2 を実行可能とする。