Cactus Compute、45M パラメータの軽量モデル「Needle 2」公開
本文の状態
日本語全文を表示中
詳細モードで約8分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
MarkTechPost
Cactus Compute はツール呼び出しと構造化抽出に特化したオープンモデル「Needle 2」を公開し、14MB のバイナリで動作し、GPU なしのデバイスでも高速推論を実現する。
AI深層分析を開く2026年8月14日 15:20
AI深層分析
キーポイント
極小サイズと低消費電力の実現
Cactus Compute が発表した Needle 2 は 45M パラメータで構成され、14MB の単一バイナリとして提供される。このモデルは 28MB の RAM でフルセッションを実行可能であり、GPU や NPU を必要としないハードウェアでの稼働を前提としている。
多様なプラットフォームへの展開
同社によると、Needle 2 は macOS、Linux、Windows、Android、iOS、WebAssembly など主要な OS およびアーキテクチャに対応した事前ビルドバイナリと静的ライブラリとして提供される。これにより、オフラインでの音声アクションやローカル推論が可能となる。
独自の軽量アーキテクチャ
Needle 2 は「Simple Attention Network」と呼ばれる構造を採用しており、FFN を Hadamard MLP に置き換え、ハッシュされた n-gram テーブルからのメモリ機能を追加している。この設計により、トークンあたりの計算コストを 70 MFLOPs に抑えている。
推論速度と適用領域
Raspberry Pi 5 では秒間 500 トークンのデコードスループットが報告されており、スマートホーム、ウェアラブル端末、車載制御などのリソース制約が厳しい環境での活用が想定されている。
構文制約による推論効率化
JSON スキーマからコンパイルされたバイトレベルの文法が出力トークンを制約し、構文トークンにおいて語彙投影の最大98%をスキップする。
重要な引用
The entire model ships as a single 14MB binary that runs a full session in about 28MB of RAM.
Weights are trained and deployed at CQ2-bit using Cactus Quants, and the model is sealed inside the company's own C++ engine, so there is no runtime to install and no download at inference time.
The design premise is narrow and stated plainly by the team: mapping a messy sentence onto a typed function signature needs no world knowledge and no open-ended prose.
Because the matcher knows which tokens are legal before logits exist, the engine skips up to 98% of the vocabulary projection on structural tokens.
編集コメントを表示
編集コメント
Needle 2 の登場は、LLM がクラウドや高性能ハードウェアに依存する現状を打破し、エッジデバイスでの実用化への道筋を示す画期的な一歩である。特にプライバシーが重視される現場や、電力・メモリ制約の厳しい IoT デバイス向けに、ローカル推論の可能性を大きく広げる技術と言える。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Cactus Compute が公開した「Needle 2」は、ツール呼び出し、デバイス操作、構造化データ抽出を目的としたオープンソースのモデルです。パラメータ数はわずか 4500 万ですが、単一のバイナリファイル（14MB）として提供され、フルセッションの実行には約 28MB の RAM で十分です。
重みは Cactus Quants により CQ2-bit で学習・展開されており、モデルは同社独自の C++ エンジンに封じ込められています。そのため、インストールが必要なランタイムはなく、推論時のダウンロードも不要です。推論速度については、Raspberry Pi 5 で秒間 500 トークン、Meta Quest 3S や Apple Vision Pro で秒間 400〜1,500 トークン、200 ドル以下のスマートフォンで秒間 300〜700 トークンの処理能力が報告されています。
この設計の前提はシンプルです。不揃いな自然言語を型付き関数のシグネチャにマッピングする作業には、広範な世界知識や自由記述的な文章生成は不要だとチームは明言しています。だからこそ 4500 万パラメータで十分であり、GPU や NPU を搭載していないハードウェアこそがターゲットとなっているのです。
実用性は担保されているのでしょうか？
はい、Needle 2 は macOS、Linux（x86-64、ARM64、ARMv7、RISC-V、MIPS32el）、Windows、Android、iOS/watchOS/tvOS、WebAssembly 向けに、事前ビルドされたバイナリと静的ライブラリとして提供されています。Cactus によると、Pebble はすでに Index 01 アプリ内で Needle をローカル実行し、オフラインでの音声操作を実現しています。
どの企業が活用できるでしょうか？
制約のあるハードウェア上でファームウェアやアプリをリリースするあらゆるチームが対象です。シード段階のウェアラブル・IoT スタートアップから、中堅規模の家電 OEM 企業、ロボット開発チーム、オフラインでのフォールバック機能が必要な大規模デバイスメーカーまで。一方で、クラウドファースト型の SaaS チームにとっては恩恵は限定的となります。
業界別活用例：スマートホーム、ウェアラブル端末、低スペックなモバイル機器、車載インキャビン制御、サービスロボット、小売りのキオスクやPOS端末、ルーターやIPカメラ、そして音声データがデバイス外に流出してはならない規制の厳しい環境など。
応用分野：画面のないデバイスでの音声からアクションへの直接変換、オフライン状態での家電制御、領収書や請求書の項目抽出、列挙値タグ付け、信頼度が低い場合のみクラウドへエスカレートするローカルルーティングなど。
アーキテクチャ：シンプル・アテンション・ネットワーク（Simple Attention Network）
Needle 2 は Cactus チームが「シンプル・アテンション・ネットワーク」と呼ぶアーキテクチャを採用しています。この設計では、FFN（フィードフォワード層）を Hadamard MLP に置き換え、GQA アテンションを維持しつつ、ハッシュ化された n-gram テーブルからのエングラム・キーバリューメモリを追加し、マルチレーン・ハイパー接続を活用します。ネットワーク構成は 27 レイヤー、幅 512 です。この基盤となる研究論文は「A Controlled Study of Attention-Only Transformers」として arXiv に掲載されています。
事前学習には独自開発の 115B トークンからなるコーパスを使用し、ポストトレーニングでは 38B トークンを追加しました。なお、LFM2.5-230M は 19 トリリオントークンで事前学習されたことが研究チームによって明記されています。
Needle 2 の計算コストはトークンあたり 70 MFLOPs です。45M パラメータのうち 35M が行列積演算（matmul）に活用されます。比較すると、LFM2.5-230M は 460、FunctionGemma-270M は 540、Apple FM は約 6,000 MFLOPs を要します。
エンジン、文法処理、情報検索、および信頼度評価
重みデータは RAM に展開されません。2 ビット符号化されたコードはベクトルレジスタ内で展開され、整数のドット積に統合されるため、演算経路は常に int8 で維持されます。起動時にバイナリが CPU をプローブし、利用可能なカーネル層（SDOT、NEON、AVX2、RISC-V ベクター、wasm SIMD、またはスカラー）を自動選択します。
JSON スキーマからコンパイルされたバイトレベルの文法が、生成されるすべてのトークンを制約します。マッチャーはロジットが存在する前にどのトークンが合法かを把握しているため、構造的なトークンに対して語彙投影の最大 98% をスキップできます。
アテンションには 256 トークンのスライディングウィンドウを使用し、システムターンとツール宣言を KV スイックとして固定します。会話の長さに関わらず、メモリ使用量は約 28MB に抑えられます。
登録するツールが 5 つ以内であれば直接レンダリングされます。5 つを超えた場合、対照的検索ヘッドが各スキーマを一度埋め込み、ターンごとにクエリをスコアリングして上位 5 つのみを採用します。選択されなかったツールにはアクセスできません。単に確率が低いだけでなく、完全に到達不能です。
すべてのレスポンスには信頼度値が含まれます。これは較正された事後ヘッドの値と、呼び出しトークンのデコーディング確率のどちらか小さい方です。文脈から外れたリクエストには空の呼び出し [] が返されます。この契約は閾値として機能し、その値を超えれば行動を起こし、下回れば再質問またはエスカレーションを行います。
評価
Cactus チームは、名前、呼び出し順序、すべての引数が完全に一致する必要がある厳密な完全一致方式を用いた 5 つの公開関数呼び出しベンチマークで評価を行いました。Needle 2 は、検索機能を有効にした状態で CQ2-bit の出荷済みエンジンを通じてエンドツーエンドで実行されます。一方、ベースラインは vLLM 上で f16 で実行されます。
- Benchmark：Needle 2 (CQ2) / LFM2.5 230M / FunctionGemma 270M / Apple FM
- Mobile Actions (961)：63.7 / 69.1 / 64.0 / 57.6
- DroidCall (200)：17.0 / 11.0 / 17.5 / —
- Seal-Tools in-domain (700)：32.6 / 26.9 / 16.3 / —
- Seal-Tools OOD (654)：28.7 / 17.0 / 15.6 / —
- BFCL v4 single-turn (3,641), overall：42.6 / 60.8 / 46.1 / 61.7
Needle 2 は Seal-Tools の両方の分割で首位に立ち、Mobile Actions における関数名の精度は 98.3% を記録しました。一方、BFCL v4 では Cactus が指摘する通りデータ分布の違いが影響し、やや見劣りしています。同社のコーパスは一般企業向けや汎用 API ではなく、消費者デバイスのアクションに特化しているためです。BFCL の 3,641 行全体における出力の正しさ（well-formed output rate）は 93.4% です。
チームは発表当初から、2 つの非対称性を明確にしています。1 つ目は f16 ベースラインが同社に有利であること、2 つ目はタスク特化型モデルである Needle が優位であることを示すものです。
要点
Needle 2 は、パラメータ数 4500 万のツール呼び出し専用モデルです。バイナリサイズはわずか 14MB で、セッション実行時の RAM 使用量は約 28MB です。
CQ2-bit の量子化は事後処理ではなく事前学習段階から組み込まれているため、デプロイされるモデルがそのまま学習済みモデルとなります。
In-domain（ドメイン内）では 32.6、Out-of-domain（ドメイン外）では 28.7 と Seal-Tools を上回っていますが、BFCL v4 の全体スコアでは 42.6 とやや劣っています。
256 トークンのスライディングウィンドウに固定されたツールシンクを採用しているため、RAM 使用量は増加する曲線ではなく、一定の上限値として機能します。
信頼度スコアと空の呼び出し拒否機能により、エッジからクラウドへの昇格処理は明確な製品上の判断事項となっています。
詳細は GitHub リポジトリ、Hugging Face のモデルカード、Cactus Needle ページ、および論文をご覧ください。Twitter でもフォローできますし、15 万人以上の ML 関係者が集まる SubReddit やニュースレターへの登録もおすすめです。Telegram をご利用の方にも、ぜひご参加ください。
原文を表示
Cactus Compute has released Needle 2, an open 45M-parameter model for tool calling, device use, and structured extraction. The entire model ships as a single 14MB binary that runs a full session in about 28MB of RAM. Weights are trained and deployed at CQ2-bit using Cactus Quants, and the model is sealed inside the company’s own C++ engine, so there is no runtime to install and no download at inference time. Reported decode throughput is 500 tokens/sec on a Raspberry Pi 5, 400–1,500 tokens/sec on Meta Quest 3S and Apple Vision Pro, and 300–700 tokens/sec on sub-$200 phones. The design premise is narrow and stated plainly by the team: mapping a messy sentence onto a typed function signature needs no world knowledge and no open-ended prose. That framing is why 45M parameters are enough here, and why the model targets hardware with no GPU and no NPU.
Is it deployable?
Yes, Needle 2 ships as prebuilt binaries and a static library for macOS, Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32el), Windows, Android, iOS/watchOS/tvOS, and WebAssembly. Cactus says Pebble already runs Needle locally in the Index 01 app for offline voice actions.
Which companies: Any team shipping firmware or apps on constrained hardware. Seed-stage wearable and IoT startups, mid-market consumer-electronics OEMs, robotics teams, and large device makers needing an offline fallback. Cloud-first SaaS teams gain less.
Industries: smart home, wearables, low-end mobile, automotive in-cabin control, service robotics, retail kiosks and POS, routers and IP cameras, and regulated settings where audio cannot leave the device.
Applications: voice-to-action on screenless devices, offline appliance control, receipt and invoice field extraction, enum tagging, and local routing that escalates to the cloud only on low confidence.
Architecture: Simple Attention Network
Needle 2 uses what Cactus team calls a Simple Attention Network. The recipe replaces the FFN with a Hadamard MLP, keeps GQA attention, adds engram key-value memory from hashed n-gram tables, and uses multi-lane hyper-connections. The network is 27 layers and 512 wide. The underlying study is on arXiv as A Controlled Study of Attention-Only Transformers.
Pretraining used a proprietary 115B-token corpus, with 38B tokens of post-training. The research team notes LFM2.5-230M was pretrained on 19 trillion tokens.
Needle 2 spends 70 MFLOPs per token, with 35M of 45M parameters matmul-active. LFM2.5 230M spends 460, FunctionGemma 270M spends 540, and Apple FM sits near 6,000.
Engine, grammar, retrieval, and confidence
Weights never decompress into RAM. The 2-bit codes expand inside vector registers and fuse into integer dot products, so the arithmetic path stays int8. One binary probes the CPU at startup and selects a kernel tier: SDOT, NEON, AVX2, RISC-V vectors, wasm SIMD, or scalar.
A byte-level grammar compiled from your JSON schemas constrains every emitted token. Because the matcher knows which tokens are legal before logits exist, the engine skips up to 98% of the vocabulary projection on structural tokens.
Attention uses a 256-token sliding window, and the system turn plus tool declarations are pinned as KV sinks. Memory stays near 28MB regardless of conversation length.
Declare five or fewer tools and they render directly. Above five, a contrastive retrieval head embeds each schema once, scores the query per turn, and admits only the top five. Unselected tools are unreachable, not merely unlikely.
Every response carries a confidence value, the minimum of a calibrated post-hoc head and the decoding probability of the call tokens. Off-topic requests return the empty call []. The contract is a threshold: act above it, re-ask or escalate below it.
Evaluation
Cactus team evaluates on five public function-calling benchmarks using ordered strict exact match, where names, call order, and every argument must match. Needle 2 runs end-to-end through the shipped engine at CQ2-bit with retrieval on; baselines run f16 under vLLM.
BenchmarkNeedle 2 (CQ2)LFM2.5 230MFunctionGemma 270MApple FM
Mobile Actions (961)63.769.164.057.6
DroidCall (200)17.011.017.5—
Seal-Tools in-domain (700)32.626.916.3—
Seal-Tools OOD (654)28.717.015.6—
BFCL v4 single-turn (3,641), overall42.660.846.161.7
Needle 2 leads both Seal-Tools splits and posts 98.3 function-name accuracy on Mobile Actions. It trails on BFCL v4, which Cactus attributes to distribution: its corpus is consumer device actions, not general or enterprise APIs. Well-formed output rate across the 3,641 BFCL rows is 93.4. The team states two asymmetries upfront: f16 baselines favor them, and task specialization favors Needle.
Key Takeaways
Needle 2 is a 45M-parameter tool-calling model in a 14MB binary, running a session in ~28MB RAM.
CQ2-bit is trained in from pretraining, not applied post-hoc, so the deployed model is the trained model.
It leads Seal-Tools in-domain (32.6) and out-of-domain (28.7), and trails on BFCL v4 overall (42.6).
A 256-token sliding window with pinned tool sinks makes RAM a fixed ceiling, not a growing curve.
Confidence scores and empty-call refusals turn edge-to-cloud escalation into an explicit product decision.
Check out the GitHub Repo, Hugging Face Model Card, Cactus Needle page and Paper. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post Meet Needle 2: An Open 45M-Parameter Tool-Calling Model That Ships as a 14MB Binary and Runs a Full Session in 28MB of RAM appeared first on MarkTechPost.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み