PrismML が電話向け 27B モデル「Bonsai」を発表

記事の3ポイント

1. 1

   スマホ実行可能な 27B クラスモデルの実現

   1-bit バージョン（3.9GB）が iPhone 17 Pro のメモリ制約内に収まり、270 億パラメータクラスのモデルを初めてスマートフォンで動作可能にした。

2. 2

   極限の圧縮技術と性能維持

   1-bit（有効 1.125 ビット）および 3-bit（有効 1.71 ビット）の重み表現を採用し、フル精度モデルに対しそれぞれ 90% と 95% の性能を維持している。

3. 3

   高度な機能とコンテキストの統合

   多段階推論、構造化ツール呼び出し、ビジョンタスク、そして 262K トークンの文脈長をサポートし、完全なオンデバイスエージェントワークフローを可能にする。