PrismML が電話向け 27B モデル「Bonsai」を発表

本日、Qwen3.6 27B をベースに開発された「Bonsai 27B」を発表します。これは Bonsai シリーズの新たなマルチモーダルフラッグシップモデルであり、その能力クラスとしては初めてスマートフォン上で動作するモデルです。

これまでのリリースで、1 ビットや 3 値（ternary）重みを持つモデルが実用的な言語モデルとして機能することを証明してきました。Bonsai 27B は、この可能性をさらに一段階引き上げます。多段階の推論、構造化されたツール呼び出し、視覚タスク、そして多数のステップにわたって一貫性を保つ「コンピューター使用」型のエージェントループなどです。

しかし今日に至るまで、こうした能力クラスをローカル環境で展開することは現実的ではありませんでした。その理由は明確です：27B モデルは 16 ビット精度では約 54GB の容量を必要とし、優れた 4 ビット圧縮版でも 18GB に達します。これはスマートフォンはもちろん、一般的なラップトップでも扱いが難しいサイズです。

Bonsai 27B はこの課題を解決しました。本モデルは 2 つのバリアントで提供されます。

Ternary Bonsai 27B は、{−1, 0, +1} の 3 値重みと FP16 グループ別スケーリングを採用し、実効ビット数は 1.71 ビット/重みです。容量は約 5.9GB で、推論能力、ツール呼び出し機能、エージェントとしての振る舞いをすべて備えた「品質重視」のバリアントです。通常のラップトップで動作します。

1-bit Bonsai 27B は、{−1, +1} のバイナリ重みと同等のスケーリング方式を採用し、実効ビット数は 1.125 ビット/重みです。容量は約 3.9GB で、「サイズ重視」のバリアントであり、iPhone 17 Pro のメモリ制約内での動作を可能にします。これにより、27B クラスのモデルが初めてスマートフォン上で実行可能となりました。

Bonsai のリリースでは、低ビット表現が言語ネットワーク、埋め込み層、アテンション、MLP、LM ヘッドに至るまで一貫して適用され、高精度な回避経路は一切設けられていません。両方のバリアントはマルチモーダルであり、ビジョンタワーはコンパクトな 4 ビット形式で提供されるため、オンデバイスワークフローではテキストだけでなくスクリーンショット、ドキュメント、カメラ入力も扱えます。

Bonsai 27B は最大 262K トークンのコンテキストをサポートし、スペキュレーティブ・デコーディング（speculative decoding）にも対応。これにより、ロスレスのドラフト＆ベリファイ加速によって処理速度がさらに向上します。すべての機能は本日より Apache 2.0 ライセンスの下で利用可能です。

知能を維持する

知識、推論、数学、コーディング、指示従順性、ツール呼び出し、ビジョンの 15 のベンチマークからなるスイートにおいて（思考モード、つまりモデルの完全な推論能力が試される環境で評価）、Ternary Bonsai 27B はフル精度ベースラインの 95% を維持し、1-bit Bonsai 27B も 90% を維持しています。

図 I: Bonsai 27B（思考モード）のベンチマークスコアと、フル精度ベースラインとの比較。各ベンチの詳細な結果はホワイトペーパーをご覧ください。

能力別に表を見ると、平均値よりも明確なストーリーが浮かび上がります。数学やコーディングの性能はほぼ損なわれておらず、ツール呼び出しもフル精度から数ポイントしか離れていません。これは、エージェントワークロードにおいて最も重要な機能です。比較のために、同じベースモデルを用いた最も過激な従来の低ビット構成を挙げると、1-bit Bonsai 27B よりも大幅にスコアが低く、かつメモリ使用量は 2.5 倍にもなります。

これは、以前発表した言語モデルや画像モデルで示したパレート最適化のシフトが、今度は 27B クラスの規模で実現されたものです。フル精度の 2B モデルよりも小さいフットプリントで、27B クラスの能力を発揮します。「知能密度」という指標（1-bit Bonsai 8B で初めて導入した尺度）で見ると、1-bit Bonsai 27B は 0.53 per GB を達成。これはフル精度ベースラインの 10 倍以上であり、現在利用可能な最良の低ビット代替案よりも約 2.7 倍に相当します。

図II: 同じパラメータクラスに属する他のモデルと比較した、Bonsai 27B の知能密度（GB あたり）

なぜこれが重要なパラダイムシフトなのか

最も価値のある AI ワークロードは、単一の応答から持続的な作業へと移行しています。リアルなツールを操作するアシスタントや、結果が返されるまで自動で実行されるワークフロー、そして数十の文書を統合して分析する研究活動などがその例です。この変化により、ワークロードの形状も変わります。エージェントは一度だけモデルを呼び出すのではなく、数百回にわたって呼び出します。各呼び出しにはコンテキストが含まれ、構造化された出力が生成され、次のステップへと引き継がれます。

クラウド API は多くの製品にとって依然として最適な選択肢です。しかし、アジェンシー（自律型）ワークロードにおいては、クラウドでのみ実行することには構造的な制約が生じます。各ステップがリモートリクエストとなり、トークンごとのコストが反復ごとに蓄積します。さらに、計画、ツール呼び出し、中間結果のすべてがネットワークを通過するため、ユーザーのプライベートファイルや画面、データも外部に送信されることになります。

キャラセル 1: NVIDIA GeForce RTX 5090 で動作する当社の Ternary Bonsai 27B モデルによって駆動される、Hermes を用いたエンドツーエンドのアジェンシーワークフロー。

ローカル実行はこの方程式を変えます。持続的なアジェンシー作業を可能にするモデルがデバイス上に収まるようになれば、エージェントは製品の中に直接存在できるようになります。100 ステップのループにおける限界コストはゼロとなり、ユーザーのデータは機械の外に出ることはありません。これにより、新たなカテゴリが開かれます。常時オンデバイスで動作するエージェントや、オフラインでも機能するアシスタント、あるいは設計段階からプライベートなローカルデータを推論に活用できるアシスタントなどです。これまで欠けていたのは、このように展開でき、かつその作業を任せても信頼できるほど十分な能力を持つモデルでした。それが Bonsai 27B です。

これにより、新しいシステムアーキテクチャが実現します。非フロンティアかつプライバシーに敏感なタスクを高性能なローカルモデルへルーティングし、最も困難なステップのみをクラウド上の最先端モデルに任せるハイブリッド構成です。これによって、エージェントシステムの 1 タスクあたりのコストを劇的に削減できます。

Bonsai 27B は、NVIDIA GeForce RTX 5090 上で 1 ビット量子化時に最大 163 tok/s、Ternary（3 値）量子化時には 134 tok/s の推論速度を達成します。また、Apple M5 Max ではそれぞれ 87 tok/s、58 tok/s を記録しています。

スマートフォンへの搭載は、単なるストレージ容量の数値以上に厳しい基準です。スマホのアプリが全メモリにアクセスできるわけではなく、12 GB の iPhone でもモデルが実際に使用できるのは約 6 GB です。さらにこの予算は KV キャッシュや活性化関数の出力とも共有されるため、実質的な利用可能領域はさらに縮小します。従来の 27B モデルの構成では、これをクリアするのは不可能でした。しかし、約 4 GB のサイズに抑えた 1 ビット版の Bonsai 27B は、作業に必要な余裕を持ってこのハードルを突破する初めてのモデルです。

この制約こそが、本シリーズが意図的に 2 つの運用設定を用意した理由です。それぞれ明確な目的を持っています。ノートパソコンクラスの高品質な性能を実現するには Ternary を、スマートフォンクラスのコンパクトなサイズ感には 1 ビットを採用します。

デモ II: iPhone 17 Pro Max で動作する 1-Bit Bonsai 27B によるマルチモーダル・エージェントユースケース（デモモード：キャッシュ済みおよび事前充填された画像コンテキスト）

最先端は常に進化し続ける

これまでの Bonsai のすべてのリリースが、ギガバイトあたりの知能性能というフロンティアをさらに押し広げてきました。そして Bonsai 27B は、実用的な閾値を超えた新たな段階へと到達しました。思考能力、マルチモーダル理解、視覚認識、そして信頼性の高いツール使用を含む、現代のモデルが持つ全機能が、すでにユーザーが所有しているデバイス上で完結するようになったのです。

私たちは、知能の密度が AI 進化の次の段階を定義する重要な軸の一つになると信じています。モデルの能力そのものが「何ができるか」を決めるなら、密度は「どこでできるか」を決めます。フロンティアをより左側（小型化・軽量化）へシフトさせることは、高度な AI が動作可能なデバイスや製品、環境の範囲を広げます。これは、スマートフォンから単一 GPU によるサービス提供に至るまで、あらゆる展開場所の経済構造を変えることになります。

Bonsai の手法はアーキテクチャに依存しないものであり、フロンティアはさらに先へ進み続けています。より大規模なモデルや新しいアーキテクチャの開発もすでに進行中です。

かつてのコンピュータは部屋を埋め尽くしていましたが、現在はポケットの中に収まっています。知能も同じ旅路を歩んでおり、Bonsai 27B はその中で最も大きな一歩です。

プラットフォーム対応状況

Bonsai 27B は、Apple デバイス（Mac、iPhone、iPad）では MLX を介してネイティブで動作し、NVIDIA GPU では CUDA を通じて利用可能です。これは、ハイブリッド・アテンション・アーキテクチャ向けに特別に設計されたカスタム低ビットカーネルによるものです。

モデルの重みは現在、Apache 2.0 ライセンスの下で公開されています。今回のリリースに伴い、開発者が簡単にモデルを試せるよう、期間限定の無料 API プレビューも提供しています。

圧縮手法や評価、ベンチマークプロセスに関する詳細な技術情報は、ホワイトペーパーでご確認いただけます。

私たちに参加してください

PrismML はカリフォルニア工科大学（Caltech）の研究者チームから誕生し、Khosla Ventures、Cerberus、Google の支援を受けて設立されました。現在も Samsung からの継続的なサポートを得ています。

私たちは長年、推論能力を損なうことなくニューラルネットワークを圧縮するという、この分野で最も難しい課題の一つに取り組んできました。

次世代の最先端 AI を一緒に作り上げたいとお考えの方は、ぜひご連絡ください。採用ページをご覧ください。