Liquid AI、オンデバイスモデル評価ベンチマーク「Pipette」をオープンソース化

モデルカードで報告される品質は、サーバー級環境での完全精度条件下における数値です。しかし、これらの数字が同じモデルをスマートフォン上でどのように振る舞うかを正確に予測することは稀です。

今週、Liquid AI は「Pipette」を発表しました。これは、エッジデバイス上のファウンデーションモデルをベンチマークするためのオープンソースプラットフォームです。独立した手法検証機関である Artificial Analysis との共同開発により構築されました。Pipette の特徴は、デバイスの挙動をモデル単体の特性ではなく、展開されたシステム全体の属性として捉える点にあります。

測定単位となるのは「完全な構成」です。具体的には、「モデル＋量子化＋ランタイム＋デバイス」という組み合わせが対象となります。ローンチ時に公開されたデータセットでは、30 以上のモデル、macOS/iOS/Windows/Android 向けの llama.cpp ビルド、256 から 8,192 トークンまでのコンテキスト長をカバーする 1,000 以上もの構成（モデル×量子化×ランタイム×デバイス×コンテキスト）において、5 つのエッジデバイス性能指標が測定されています。

初期検証結果は、M5 Max を搭載した MacBook Pro、iPhone 17 Pro、Galaxy S26 Ultra から得られています。このベンチマークの現実的な主張は検証可能です。同じ量子化設定で同じスマートフォン上で動作する 350M パラメータのモデル 2 つを比較すると、4,096 トークンのコンテキスト長において、それぞれデコードスループットの 78.4% と 33.8% を維持することが確認されています。

実用性は担保されているでしょうか？

はい。Pipette は Apache 2.0 ライセンスで提供されるインフラストラクチャ（pipette-mgmt、pipette-clients、pipette-scores）、公開された結果データセット、ホスト型ダッシュボード、そしてネイティブの iOS および Android ベンチマークアプリとして利用可能です。待ち行列に入る必要はありません。ただし、コミュニティから提出された結果の公開機能はまだベータ版です。

対象となる企業は、自社のハードウェアにモデルをデプロイするあらゆるチームです。ソロ開発者やシード期のスタートアップでも、インフラを用意しなくてもダッシュボードとアプリを利用できます。中堅の製品チームであれば、社内デバイスのファーム全体でクライアントを実行可能です。大規模な OEM 企業、チップベンダー、そしてエンタープライズは、自社のファイアウォール内ですべてのパイプラインを運用できます。

対象業界は、家電・スマートフォン OEM、自動車、産業用機器やロボット、ヘルスケアデバイス、金融サービス、防衛分野などです。遅延（レイテンシ）、プライバシー、あるいは接続性の制約から推論を端末上で行う必要があるあらゆる領域が該当します。

具体的な用途としては、スプリント開始前のモデルと量子化手法の選定、SoC やハードウェアの調達検証、ランタイムや OS、ドライバーの更新時の回帰テスト、コンテキスト長のキャパシティ計画、ベンダーのパフォーマンス主張に対する独立した検証などが挙げられます。

Liquid AI が提供したもの

Liquid AI は、方法論をレビューし検証する独立した検証機関である Artificial Analysis と連携して「Pipette」をリリースしました。このプロジェクトの前提はシンプルで実用的です。端末上での挙動とは、モデル単体の特性ではなく、デプロイされたシステム全体の性質として捉えるべきだという点にあります。

公開されたベンチマークデータセットは、1,000 以上もの「モデル×量子化×ランタイム×デバイス×コンテキスト」の組み合わせにおける、5 つのオンデバイス性能指標を網羅しています。対象となるのは 30 以上のモデルと複数の量子化フォーマット、macOS/iOS/Windows/Android 向けの llama.cpp ビルド、そして 256 トークンから 8,192 トークンまでのコンテキスト長です。

初期公開の結果は、M5 Max を搭載した MacBook Pro、iPhone 17 Pro、Galaxy S26 Ultra で取得されたものです。AMD Ryzen AI Max+ 395 と Radeon 8060S の結果については、近日公開予定です。

Pipette では、測定単位となるのは「モデル＋量子化＋ランタイム＋デバイス」からなるデプロイ構成です。ベンチマークは特定の指標とトークン形状を定義し、レイテンシ、スループット、あるいはメモリの結果を算出します。一方、モデルの品質（Quality）は IFBench、GPQA Diamond、MATH-500 といった別の基準で評価されます。

現在のところ、これらの品質スコアは NVIDIA H100 80GB のリファレンスシステム上で llama.cpp を実行して取得した値です。その後、同じモデルと量子化設定を持つオンデバイス環境の結果と照合されます。つまり、スマートフォン画面に表示されるスループットの数値の隣にある品質スコアは、その端末で直接測定されたものではないのです。

なぜデプロイ環境によって答えが変わるのか

公開された 4 つの比較事例から、構成の違いが結果にどれほど大きな影響を与えるかがわかります。

コンテキスト長を伸ばした際のパフォーマンス低下率は、パラメータ数が同じでも大きく異なります。Galaxy S26 Ultra で Q4_K_M の量子化設定を用いた場合、Granite-4.0-H-350M は入力トークンを 256 から 4,096 に増やしても、デコードスループットの 78.4% を維持します。一方、同サイズの Granite-4.0-350M では、その値はわずか 33.8% まで低下してしまいます。

スパース活性化は速度を向上させますが、メモリ使用量の削減にはつながりません。同じスマートフォンで入力トークン 2,048 の条件下では、LFM2.5-8B-A1B は Qwen3.5-4B よりも 2.4 倍、Ministral-3-3B-Instruct-2512 よりも 2.6 倍高速にデコードします。このモデルはトークンあたり 85 億パラメータのうち 15 億を活性化させるものの、すべての専門家の重みがメモリ上に保持されるため、ピーク使用量は 5.29 GiB に達します。

速度と品質は必ずしも両立しません。iPhone 17 Pro で Q4_K_M の量子化設定を用いた場合、MiniCPM5-1B は入力 2,048・出力 256 のワークロードを 3.47 秒で完了させます。一方、LFM2.5-1.2B-Instruct は 4.12 秒を要し、前者は後者よりも所要時間が 15.8% 短縮されています。同じ評価対象において、LFM の MATH-500 スコアは LFM2.5-1.2B-Instruct よりも 9.0 ポイント上回っています。

システムプロファイルが極めて類似していても、タスクごとの順位逆転が発生することがあります。M5 Max で Q4_K_M、入力トークン数 2,048 の条件下では、Granite-4.1-8B と Ministral-3-8B-Instruct-2512 はデコードスループットで 2.4%、ピーク RAM 使用量で 1.2% の差しかありません。しかし、IFBench では Granite が 7.3 ポイントリードし、GPQA Diamond では Ministral が 14.0 ポイントリードしています。

測定手法について

性能評価は公開された手順に従って行われます。トークン形状を固定し、貪欲デコードを採用し、ウォームアップの結果は除外した上で、5 回の計測回数を設定して準備状態のゲートを通すというものです。各計測回数の前に、プラットフォーム固有のチェックにより熱条件と負荷状況を確認します。条件を満たさない場合はその結果を公開しません。

評価には別のプロトコルを使用し、決定論的かつモデルに依存しないスコアリングを行います。また、pipette スコアは生成物の出所（プロベナンス）を一切参照しません。すべての提出データには、ベンチマークバージョン、トークン形状、モデルアーティファクト、量子化方式、ランタイムのバージョンと設定、およびデバイスのハードウェアと OS 情報が記録されます。

インタラクティブな解説

Pipette の主な特徴

Pipette はモデルそのものではなく、構成をベンチマークします。具体的には「モデル＋量子化＋ランタイム＋デバイス」の組み合わせを評価対象とします。

Apache 2.0 ライセンスのスタックを採用し、1,000 以上の構成パターン、30 種類以上のモデルに対応しています。ローンチ時点では 3 つの検証済みデバイスで動作確認が完了しています。

品質評価は H100 を基準とした環境で実行され、その結果をオンデバイスでのパフォーマンスと照合します。ただし、評価自体をオンデバイスで行うわけではありません。

パラメータ数が同一でも、コンテキスト拡張における保持率には 78.4% と 33.8% のような大きな差が生じることがあります。