「スマホで動く」270億パラメーターLLM「Bonsai 27B」登場

記事の3ポイント

1. 1

   PrismMLによる新モデル発表

   米カリフォルニア工科大学発のAIスタートアップ企業、PrismMLが7月15日、「スマートフォン上で動作する初の27Bクラスモデル」であるLLM「Bonsai 27B」を発表した。

2. 2

   極端な量子化によるサイズ削減

   各パラメータの重みを1〜2ビット程度に削減することで、スマートフォン向けの「1-bit Bonsai 27B」は3.9GB（有効1.125ビット／重み）に縮小し、iPhoneでの実行を可能にした。

3. 3

   高性能維持とオープンソース化

   同社によるとベンチマークでフル精度モデルの90〜95%の性能を維持しており、「Qwen3.6 27B」ベースのマルチモーダルモデルとしてApache 2.0ライセンスで公開される。