UC バークレーと MIT、MoE モデルを一般ハードウェアで動かす推論エンジン「FreeToken」公開

記事の3ポイント

1. 1

   動的共実行によるボトルネック解消

   従来の静的オフローディングに代わり、CPUコアとGPUテンソルコア間でトークン計算を動的に分割する「q*ポリシー」を採用し、PCIeスループットに応じたリアルタイムな負荷分散を実現した。

2. 2

   高速重みフォーマットと二重バッファリング

   FTW（Fast Weight Format）とフルレイヤーの二重バッファリングを組み合わせることで、GPUがアクティブ計算層を実行している間にPCIe経由での重みストリーミングを完全に重ね合わせ、キャッシュミスによる実行停止を回避した。

3. 3

   セマンティックアンカーチェックポイント

   コードアシスタントや自律型エージェントにおける頻繁なプロンプト変更やツール呼び出しに対応するため、論理的なタスク境界で中間アテンション状態をキャッシュし、再計算コストを削減する機構を実装した。