Cactus Compute、45M パラメータの軽量モデル「Needle 2」公開

記事の3ポイント

1. 1

   極小サイズと低消費電力の実現

   Cactus Compute が発表した Needle 2 は 45M パラメータで構成され、14MB の単一バイナリとして提供される。このモデルは 28MB の RAM でフルセッションを実行可能であり、GPU や NPU を必要としないハードウェアでの稼働を前提としている。

2. 2

   多様なプラットフォームへの展開

   同社によると、Needle 2 は macOS、Linux、Windows、Android、iOS、WebAssembly など主要な OS およびアーキテクチャに対応した事前ビルドバイナリと静的ライブラリとして提供される。これにより、オフラインでの音声アクションやローカル推論が可能となる。

3. 3

   独自の軽量アーキテクチャ

   Needle 2 は「Simple Attention Network」と呼ばれる構造を採用しており、FFN を Hadamard MLP に置き換え、ハッシュされた n-gram テーブルからのメモリ機能を追加している。この設計により、トークンあたりの計算コストを 70 MFLOPs に抑えている。