Cactus Needle（GitHub リポジトリ）：Gemini 3.1 から蒸留された軽量モデルがローカル環境で高速動作

Gemini 3.1 を、Mac/PC でローカルでもファインチューニング可能な 2600 万パラメータの「Simple Attention Network」に圧縮しました。

本番環境では、Needle は Cactus 上で動作し、プリフィル速度は 6000 トークン/秒、デコード速度は 1200 トークン/秒です。

重みとデータセット生成プロセスは、Cactus-Compute/needle で完全にオープンソース化されています。

d=512, 8H/4KV, BPE=8192

┌──────────────┐

│ Tool Call │

└──────┬───────┘

┌┴──────────┐

│ Softmax │

└─────┬─────┘

┌─────┴─────┐

│ Linear (T)│ ← tied

└─────┬─────┘

┌─────┴─────┐

│ ZCRMSNorm │

└─────┬─────┘

┌────────┴────────┐

│ Decoder x 8 │

│┌───────────────┐│

││ ZCRMSNorm ││

││ Masked Self ││

││ Attn + RoPE ││

││ Gated Residual││

│├───────────────┤│

┌──────────────┐ ││ ZCRMSNorm ││

│ Encoder x 12 │──────────────────────▶Cross Attn ││

│ │ ││ Gated Residual││

│ ┌──────────┐ │ │└───────────────┘│

│ │ZCRMSNorm │ │ └────────┬────────┘

│ │Self Attn │ │ ┌─────┴─────┐

│ │ GQA+RoPE │ │ │ Embedding │ ← shared

│ │Gated Res │ │ └─────┬─────┘

│ │ │ │ ┌───────┴───────-┐

│ │ (no FFN) │ │ │[EOS]<tool_call>│

│ └──────────┘ │ │ + answer │

│ │ └───────────────-┘

└──────┬───────┘

│

┌────┴──────┐

│ Embedding │

└────┬──────┘

│

┌────┴──────┐

│ Text │

│ query │

└───────────┘

• 16 台の TPU v6e で 200B トークン（27 時間）に事前学習済み。

• シングルショット関数呼び出しデータセット 2B トークンでポストトレーニング済み（45 分）。

Needle は、Simple Attention Networks の実験的な実装であり、消費者向けデバイス（スマートフォン、スマートウォッチ、AR グラスなど）向けの超小型 AI を再定義することを目的としています。したがって、個人用 AI におけるシングルショット関数呼び出しのタスクでは FunctionGemma-270m、Qwen-0.6B、Graninte-350m、LFM2.5-350m を上回りますが、これらのモデルはより広い範囲と能力を持ち、会話型設定において特に優れています。また、小規模なモデルは扱いが繊細である場合もあります。次のセクションにある UI を使用して、ご自身のツールでテストし、ワンクリックで微調整を行ってください。

Quickstart

git clone https://github.com/cactus-compute/needle.git

cd needle && source ./setup

needle playground

http://127.0.0.1:7860 で Web UI を起動し、ご自身のツールでテストや微調整が可能です。モデル重みは自動的にダウンロードされます。

Usage (Python)

from needle import SimpleAttentionNetwork, load_checkpoint, generate, get_tokenizer

params, config = load_checkpoint("checkpoints/needle.pkl")

model = SimpleAttentionNetwork(config)

tokenizer = get_tokenizer()

result = generate(

model, params, tokenizer,

query="What's the weather in San Francisco?",

tools='[{"name":"get_weather","parameters":{"location":"string"}}]',

stream=False,

)

print(result)

[{"name":"get_weather","arguments":{"location":"San Francisco"}}]

Finetuning

プレイグラウンド (Gemini を経由してデータを生成し、トレーニング・評価を行い、結果をバンドル)

needle playground

CLI (ローカルに重みがない場合は自動ダウンロード)

needle finetune data.jsonl

CLI

needle playground Web UI を介してテストおよびファインチューニング

needle finetune <data.jsonl> 独自のデータ上でファインチューニング

needle run --query "..." --tools 単一の推論実行

needle train 完全なトレーニング実行

needle pretrain PleIAs/SYNTH 上での事前学習

needle eval --checkpoint <path> チェックポイントの評価

needle tokenize データセットのトークン化

needle generate-data Gemini を経由してトレーニングデータを合成

needle tpu <action> TPU マネージメント (docs/tpu.md を参照)

@misc{ndubuaku2026needle,

title={Needle},

author={Henry Ndubuaku, Jakub Mroz, Karen Mosoyan, Roman Shemet, Parkirat Sandhu, Satyajit Kumar, Noah Cylich, Justin H. Lee},

year={2026},

url={https://github.com/cactus-compute/needle}

}