大規模モデルを小容量メモリで動作させる推論エンジン「WASTE」が公開

記事の3ポイント

1. 1

   メモリ制約の突破技術

   WASTE はホストマシンの利用可能メモリよりも大幅に大きな重みを持つモデルを推論実行するためのオープンソースエンジンとして設計されている。

2. 2

   コストとプライバシーへの貢献

   このプロジェクトは、インフラコストの管理、データプライバシーの確保、可用性の向上、およびデプロイメントにおけるユーザーや組織のコントロール強化を目的としている。

3. 3

   Kimi K3 の完全対応発表

   WASTE が最初に完全にサポートするモデルとして Kimi K3 を挙げ、同社によるとこのモデルは 64GB のユニファイドメモリを持つ MacBook Pro で動作可能である。