PrismML が電話向け 27B モデル「Bonsai」を発表
Bonsai は、1 ビットおよび 3 ビットの重み圧縮技術を用いて 270 億パラメータ級のモデルをスマートフォンで動作可能にし、オンデバイスでの高度な推論とマルチモーダル処理を実現した画期的なリリースである。
キーポイント
スマホ実行可能な 27B クラスモデルの実現
1-bit バージョン（3.9GB）が iPhone 17 Pro のメモリ制約内に収まり、270 億パラメータクラスのモデルを初めてスマートフォンで動作可能にした。
極限の圧縮技術と性能維持
1-bit（有効 1.125 ビット）および 3-bit（有効 1.71 ビット）の重み表現を採用し、フル精度モデルに対しそれぞれ 90% と 95% の性能を維持している。
高度な機能とコンテキストの統合
多段階推論、構造化ツール呼び出し、ビジョンタスク、そして 262K トークンの文脈長をサポートし、完全なオンデバイスエージェントワークフローを可能にする。
オープンソースとマルチモーダル対応
Apache 2.0 ライセンスで公開され、視覚塔も 4-bit で圧縮されており、スクリーンショットやカメラ入力を含む完全なオンデバイスワークフローが利用可能。
重要な引用
first model of its capability class to run on a phone
Ternary Bonsai 27B retains 95% of the full-precision baseline, and 1-bit Bonsai 27B retains 90%
fits within the memory budget of an iPhone 17 Pro
影響分析・編集コメントを表示
影響分析
この発表は、大規模モデルのオンデバイス展開における最大のボトルネックであったメモリ容量の問題を解決し、プライバシー保護や低遅延が求められる現場での AI 実装に新たな基準をもたらす。特に、高度な推論能力と視覚理解機能を維持したままスマホで動作可能となったことは、エッジ AI の普及速度を劇的に加速させる要因となる。
編集コメント
270 億パラメータ規模のモデルをスマートフォンで動作可能にするという技術的飛躍は、エッジ AI の実用化における決定的な転換点となる。特に、圧縮率を極限まで高めつつ推論能力を維持した点は、今後のデバイス内蔵型インテリジェンスの標準仕様を示唆する重要な成果である。
本日、Bonsai ファミリーの新たなマルチモーダルフラッグシップモデル「Bonsai 27B」を発表します。これは Qwen3.6 27B をベースに構築されたものであり、その能力クラスとしては初めてスマートフォン上で動作するモデルです。
これまでに発表してきた成果により、1 ビットや 3 値（ternary）の重みを持つモデルでも、実用的な言語モデルを構築できることが証明されました。Bonsai 27B は、このフロンティアを一歩進め、多段階推論、構造化されたツール呼び出し、ビジョンタスク、そして多数のステップにわたって一貫性を保つコンピューター操作型のエージェントループといった、新たな能力レベルを実現します。
しかし、これまでこうした能力をローカル環境で展開するのは現実的ではありませんでした。その理由は明確です。16 ビット精度では 27B モデルは約 54GB の容量を必要とし、優れた 4 ビット圧縮モデルでも 18GB に達するため、スマートフォンや一般的なラップトップには収まりきらないからです。
Bonsai 27B はこの課題を解決します。本モデルは 2 つのバリアントで提供されます。
Ternary Bonsai 27B は、{−1, 0, +1} の 3 値重みと FP16 グループごとのスケーリングを採用し、実効ビット数は 1.71 ビット/重みとなります。容量は約 5.9GB で、推論能力、ツール呼び出し、エージェント機能のすべてを備えた「品質重視」のバリアントです。一般的なラップトップで動作します。
1-bit Bonsai 27B は、{−1, +1} のバイナリ重みと同等のスケーリングを採用し、実効ビット数は 1.125 ビット/重みとなります。容量は約 3.9GB で、「サイズ重視」のバリアントです。iPhone 17 Pro のメモリ予算内に収まるため、27B クラスのモデルが初めてスマートフォン上で動作可能になります。
Bonsai のリリースではいつも通り、低ビット表現は言語ネットワークから埋め込み層、アテンション、MLP、LM ヘッドに至るまで一貫して適用され、高精度なエスケープ経路は一切存在しません。両方のバリアントはマルチモーダルに対応しており、ビジョンタワーはコンパクトな 4 ビット形式で提供されるため、オンデバイスでのワークフローではテキストだけでなくスクリーンショットやドキュメント、カメラ入力も扱えます。
Bonsai 27B は最大 262K トークンのコンテキストをサポートし、スペキュレーティブ・デコーディング（予測的デコーディング）にも対応しています。これにより、ロスレスのドラフト＆ベリファイ加速によって処理速度がさらに向上します。これらの機能はすべて今日から Apache 2.0 ライセンスの下で利用可能です。
知能を維持する
知識、推論、数学、コーディング、指示従順性、ツール呼び出し、そしてビジョン（思考モードでの評価：モデルの完全な推論プロセスが活用される状態）にわたる 15 のベンチマークスイートにおいて、Ternary Bonsai 27B はフル精度ベースラインの95%を維持し、1-bit Bonsai 27B も90%を維持しています。
| カテゴリ（ベンチマーク） | Qwen 3.6 27B | Ternary Bonsai 27B | 1-bit Bonsai 27B |
|---|---|---|---|
| Math (GSM8K, MATH-500, AIME25, AIME26) | 95.3 | 93.4 | 91.7 |
| Coding (HumanEval+, MBPP+, LiveCodeBench) | 88.7 | 86.0 | 81.9 |
| Agentic and Tool-calling (BFCL v3, TauBench) | 80.0 | 74.0 | 66.0 |
| Instruction following (IFEval, IFBench) | 78.4 | 71.8 | 65.8 |
知識・STEM（MMLU-Redux, MuSR）
83.1
77.0
73.4
視覚認識（MMMU Pro, OCRBench）
72.6
65.2
59.6
総合評価（15 ベンチマーク平均）
85.0
80.5
76.1
Fig I: 思考モードにおける Bonsai 27B のベンチスコアと、フル精度モデルとの比較。各ベンチの詳細な結果はホワイトペーパーをご覧ください。
能力別に表を見ると、平均値だけでは見えない鮮明なストーリーが浮かび上がります。数学やコーディングの性能はほぼ損なわれておらず、ツール呼び出しの精度もフル精度から数ポイントしか離れていません。これはまさに、エージェントワークロードに不可欠な機能です。
比較のために、同じベースモデルを用いた最も過激な低ビット化構成を挙げると、1-bit Bonsai 27B よりも大幅にスコアが低く、しかもメモリ使用量は 2.5 倍にもなります。
これは、以前言語モデルや画像モデルで示したパレート最適のシフトを、27B スケールで実現したものです。つまり、フル精度の 2B モデルよりも小さいサイズで、27B クラスの能力を発揮できるのです。「インテリジェンス・デンスティ（知能密度）」——1-bit Bonsai 8B で初めて導入したこの指標で測ると、1-bit Bonsai 27B は 1GB あたり 0.53 の性能を誇ります。これはフル精度のベースラインより 10 倍以上高く、現在利用可能な最良の低ビット代替案よりも約 2.7 倍優れています。
図 II：Bonsai 27B と同パラメータクラスの他モデルを比較した、GB あたりの知能密度。
なぜこれが重要なパラダイムシフトなのか
最も価値のある AI ワークロードは、単一の応答から「持続的な作業」へと移行しています。具体的には、実際のツールを操作するアシスタントや、結果が返されるまで自動で実行されるワークフロー、そして数十の文書を統合して分析する研究などが該当します。
この変化により、ワークロードの形状そのものが変わります。エージェントは一度だけモデルを呼び出すのではなく、数百回にわたって呼び出します。各呼び出しにはコンテキストが含まれ、構造化された出力が生成され、それが次のステップへと引き継がれていきます。
クラウド API は多くの製品にとって依然として最適な選択肢です。しかし、エージェント型のワークロードにおいて、クラウドでの実行のみを依存することは構造的な制約を生み出します。すべてのステップがリモートリクエストとなるため、1 回の反復ごとにトークンあたりのコストが積み重なります。さらに、計画、ツール呼び出し、中間結果のすべてがネットワークを経由する必要があり、ユーザーのプライベートファイルや画面、データもその対象となります。
スライダー I：NVIDIA GeForce RTX 5090 で動作する当社の Ternary Bonsai 27B モデルを基盤とした、Hermes を用いたエンドツーエンドのエージェント型ワークフロー。
ローカル実行は、この方程式を根本から変えます。持続的なエージェント作業が可能で、かつデバイス上に収まるモデルが実現されれば、そのエージェントは製品の中に常駐できるようになります。100 ステップのループにかかる限界コストはゼロとなり、ユーザーのデータも機械の外に出ることはありません。これにより、新たなカテゴリが開かれます。例えば、常時オンデバイスで動作するエージェントや、オフラインでも機能するアシスタント、あるいは設計段階からプライベートなローカルデータを推論に活用できるアシスタントなどです。これまで欠けていたのは、このように展開でき、かつ信頼して作業を任せるのに十分な能力を持つ、小さすぎるほど小さなモデルでした。それが Bonsai 27B です。
さらに、これは新しいシステムアーキテクチャも解放します。非フロンティア（最先端ではない）かつプライバシーが敏感なタスクは高性能なローカルモデルへルーティングし、最も困難なステップのみをクラウドの最先端モデルに任せるハイブリッド展開です。これにより、エージェントシステムの 1 タスクあたりのコストを劇的に圧縮できます。
Bonsai 27B は、NVIDIA GeForce RTX 5090 上で 1 ビット量子化時で最大 163 トークン/秒、Ternary（三値）量子化時で 134 トークン/秒を達成します。また M5 Max では、それぞれ 87 トークン/秒と 58 トークン/秒に達します。
スマホへの搭載は、ストレージの数値が示す以上に厳しい関門です。スマホのアプリが全メモリを自由に使えることはなく、12 GB の iPhone でもモデルがオンデバイスで利用可能なのは約 6 GB です。しかもその予算は、KV キャッシュや活性化値（activations）と共有されなければなりません。従来の 27B モデルの構成では、これをクリアするのは不可能でした。約 4 GB で動作する 1 ビット版の Bonsai 27B は、作業に十分な余裕を持ってこの関門を突破した初のモデルです。
この制約こそが、2 つの明確な運用ポイントを設けた理由です。具体的には、ラップトップクラスの高品質を実現する「3 値（ternary）」と、スマートフォンクラスの軽量さを追求する「1 ビット」の 2 通りを用意しています。
デモ II：iPhone 17 Pro Max で動作する 1-Bit Bonsai 27B によるマルチモーダル・エージェントユースケース（デモモード：キャッシュ済みおよび事前充填された画像コンテキスト）
フロンティアは常に前進する
これまでの Bonsai のリリースはすべて、ギガバイトあたりの知能密度というフロンティアを左へ押し上げてきました。Bonsai 27B はそれを実用的な閾値を超えさせます。思考能力、マルチモーダル理解、視覚認識、そして確かなツール利用といった、現代のモデルが持つ全機能を、すでに人々が所有しているデバイス上で完結させることが可能になったのです。
私たちは、知能密度が AI 発展の次の段階を決定づける重要な軸になると信じています。純粋な能力（raw capability）は「何ができるか」を決めますが、密度は「どこでできるか」を決めるからです。フロンティアが左へシフトするごとに、高度な AI が動作可能なデバイスや製品、環境の範囲が広がり、スマートフォンから単一 GPU によるサービス提供に至るまで、あらゆる展開現場の経済性も変化します。
Bonsai の背後にある手法はアーキテクチャに依存しないため、このフロンティアはさらに拡大し続けます。より大規模なモデルや新しいアーキテクチャの開発もすでに進行中です。
かつてのコンピュータは部屋を埋め尽くしていましたが、現在はポケットの中に収まっています。知能もまた同じ旅路を歩んでおり、Bonsai 27B はその中で最も大きな一歩です。
プラットフォーム対応状況
Bonsai 27B は、Apple 製デバイス（Mac, iPhone, iPad）では MLX を介して、NVIDIA GPU では CUDA を介してネイティブで動作します。これは同モデルのハイブリッド・アテンション・アーキテクチャ向けにカスタム設計された低ビットカーネルによるものです。モデルの重みは現在、Apache 2.0 ライセンスの下で利用可能です。今回のリリースに合わせて、開発者が簡単にモデルを試せるよう、期間限定の無料 API を提供しています。
圧縮手法や評価、ベンチマークの詳細な技術情報は、ホワイトペーパー こちら で公開されています。
一緒に働きませんか
PrismML はカリフォルニア工科大学（Caltech）の研究者チームから派生し、Khosla Ventures、Cerberus、Google の支援を受けて設立されました。現在は Samsung からの継続的な支援も受けています。私たちは長年、推論能力を損なうことなくニューラルネットワークを圧縮するという、この分野で最も困難な課題の一つに取り組んできました。
次世代の最先端 AI を共に作り上げたいと考えている方は、ぜひご連絡ください。採用情報ページ もご覧ください。
原文を表示
Today, we're announcing Bonsai 27B, based on Qwen3.6 27B, the new multimodal flagship of the Bonsai family and the first model of its capability class to run on a phone.
Our earlier releases proved that models with 1-bit and ternary weights could produce commercially useful language models. Bonsai 27B extends that frontier to a new capability tier: multi-step reasoning, structured tool calls, vision tasks, and computer-use agentic loops that stay coherent across many steps. Until today, deploying that tier locally has been impractical for a concrete reason: a 27B model occupies roughly 54GB in 16-bit precision, and even a good 4-bit build, at 18GB, is too large for a phone and for most laptops.
Bonsai 27B changes that. It comes in two variants:
Ternary Bonsai 27B uses ternary {−1, 0, +1} weights with FP16 group-wise scaling, giving a true 1.71 effective bits per weight. At 5.9 GB, it is the quality-oriented variant: it runs on an everyday laptop with the full reasoning, tool-calling, and agentic capability.
1-bit Bonsai 27B uses binary {−1, +1} weights with the same group-wise scaling, giving 1.125 effective bits per weight. At 3.9 GB, it is the footprint-oriented variant, which fits within the memory budget of an iPhone 17 Pro, bringing a 27B-class model onto a phone for the first time.
As with every Bonsai release, the low-bit representation runs end to end across the language network, embeddings, attention, MLPs, and the LM head, with no higher-precision escape hatches. Both variants are multimodal, with the vision tower shipping in a compact 4-bit form so on-device workflows can see screenshots, documents, and camera input, not just text. Bonsai 27B carries a full 262K-token context, and supports speculative-decoding, compounding the speed with lossless draft-and-verify acceleration. Everything is available today under the Apache 2.0 License.
Retaining the intelligence
Across a 15-benchmark suite spanning knowledge, reasoning, math, coding, instruction following, tool calling, and vision (evaluated in thinking mode, where the model's full reasoning is exercised) Ternary Bonsai 27B retains 95% of the full-precision baseline, and 1-bit Bonsai 27B retains 90%.
Category (benchmarks)
Qwen 3.6**27B
Ternary Bonsai
27B
1-bit Bonsai
27B
Math (GSM8K, MATH-500, AIME25, AIME26)
95.3
93.4
91.7
Coding (HumanEval+, MBPP+, LiveCodeBench)
88.7
86.0
81.9
Agentic and Tool-calling (BFCL v3, TauBench)
80.0
74.0
66.0
Instruction following (IFEval, IFBench)
78.4
71.8
65.8
Knowledge / STEM (MMLU-Redux, MuSR)
83.1
77.0
73.4
Vision (MMMU Pro, OCRBench)
72.6
65.2
59.6
Overall (15 benchmarks)
85.0
80.5
76.1
Fig I: Benchmark scores of Bonsai 27B (thinking mode) against the full-precision baseline. Full per-benchmark results are in the whitepaper.
Read the table by capability and the story is sharper than the averages: math and coding are nearly untouched, tool calling stays within a few points of full precision - exactly the capabilities that agentic workloads depend on. For comparison, the most aggressive conventional low-bit build of the same base model scores significantly lower than 1-bit Bonsai 27B while occupying 2.5x more memory.
This is the same Pareto shift we demonstrated with our earlier language and image models, now at 27B scale: 27B-class capability at a footprint smaller than a full-precision 2B model. By intelligence density — the measure we introduced with 1-bit Bonsai 8B — 1-bit Bonsai 27B delivers 0.53 per GB: more than 10x the full-precision baseline, and roughly 2.7x the best low-bit alternative available.
Why this is an important paradigm shift
The most valuable AI workloads are shifting from single responses to sustained work: assistants that operate real tools, workflows that run unattended before returning a result, and research that synthesizes dozens of documents. This shift changes the shape of the workload — an agent doesn't make one model call, it makes hundreds, each one carrying context, producing structured output, and feeding the next.
Cloud APIs will remain the right choice for many products. But for agentic workloads, cloud-only execution imposes structural constraints: every step is a remote request, per-token cost accumulates with every iteration, and every plan, tool call, and intermediate result crosses the network including the user's private files, screen, and data.
Carousel I: End-to-end agentic workflow with Hermes, powered by our Ternary Bonsai 27B model on NVIDIA GeForce RTX 5090.
Local execution changes the equation. When a model capable of sustained agentic work fits on the device, the agent can live inside the product: the marginal cost of a hundred-step loop is zero, and the user's data never leaves the machine. Entire categories open up — persistent on-device agents, assistants that work offline, assistants that reason over private local data by construction. What has been missing is a model small enough to deploy this way and capable enough to trust with the work. Bonsai 27B is that model.
It also unlocks a new system architecture: hybrid deployments that route non-frontier and privacy-sensitive tasks to a capable local model and reserve frontier cloud models for the hardest steps — collapsing the cost-per-task of agentic systems.
Bonsai 27B reaches up to 163 tok/s in 1-bit and 134 tok/s in Ternary on an NVIDIA GeForce RTX 5090. On an M5 Max, it reaches up to 87 tok/s in 1-bit and 58 tok/s in Ternary.
Fitting a phone is a stricter gate than storage numbers suggest. A phone never exposes its full memory to an app - a 12 GB iPhone offers about 6 GB for the model to use on-device, and the model shares that budget with its KV cache and activations. No conventional build of a 27B model comes close to clearing it. At about 4 GB, 1-bit Bonsai 27B is the first to pass through with room to work.
That constraint is why the family ships two deliberate operating points, specifically keeping that in mind: ternary for laptop-class quality, 1-bit for phone-class footprint.
Demo II: Multimodal agentic use-cases powered by 1-Bit Bonsai 27B on an iPhone 17 Pro Max (Demo Mode: Cached & Prefilled Image Context)
The frontier keeps moving
Every Bonsai release has moved the intelligence-per-gigabyte frontier left, and Bonsai 27B moves it past a practical threshold: the full capability set of a modern model with thinking, multimodal understanding, vision, reliable tool use, now fits on the devices people already own.
We believe intelligence density will be one of the defining axes of the next stage of AI progress. Raw capability determines what a model can do; density determines where it can do it. Every leftward shift of the frontier expands the set of devices, products, and environments where advanced AI can operate and changes the economics of every deployment surface it touches, from phones to single-GPU serving. The methodology behind Bonsai is architecture-agnostic, and the frontier will keep moving: larger models and new architectures are already in progress.
Early computers filled rooms; today they live in our pockets. Intelligence is making the same journey, and Bonsai 27B is its largest step yet.
Platform Coverage**
Bonsai 27B runs natively on Apple devices (Mac, iPhone, iPad) via MLX and on NVIDIA GPUs via CUDA, through custom low-bit kernels built for its hybrid-attention architecture. Model weights are available today under the Apache 2.0 License. With this release, we’re offering a free, limited-time developer preview API so developers can easily try our model.
Full technical details of our compression, evaluation, and benchmarking processes are available in our whitepaper.
Join Us
PrismML emerged from a team of Caltech researchers and was founded with support from Khosla Ventures, Cerberus, and Google, with continuing support from Samsung. We've spent years tackling one of the field's hardest problems: compressing neural networks without sacrificing their reasoning ability.
If you want to help build the next generation of state-of-the-art AI, we'd love to hear from you. Check out our careers page.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み