小型モデルとモバイル端末のベンチマーク課題を分析

なぜ小規模モデルのベンチマークは難しいのか

数十億パラメータ未満の小規模モデルでも、スマートフォン上で指示に従い、ツールを呼び出し、質問に答えることが可能になりました。しかし、既存のベンチマーク結果には、量子化されたモデルそのものの詳細や、ユーザーが実際に使用するデバイスとランタイムの組み合わせに関する情報が欠けているケースが多々あります。この分野におけるベンチマークの難しさをさらに高める要因として、以下の点が挙げられます。

フロンティア評価では区別がつかなくなる

主要なベンチマークの多くは、最先端モデルを明確に区別するために設計されています。そのため、小規模モデルはスコアの下限付近に固まってしまいます。GDPval-AA v2 や Terminal-Bench v2.1 といった大規模なエージェントタスクの評価では、小規模モデルが完遂できる可能性が極めて低い長期的な多段階タスクが設定されるため、結果としてほぼゼロのスコアしか返ってきません。これでは、小規模モデル同士を比較する際の有用な情報が得られません。小規模モデルを適切に評価するためには、このクラス内での有意なスコアの差を生み出すような評価指標が必要です。

推論スタックはまだ発展途上

モバイルデバイスのランタイムは、データセンター向けのものに比べて成熟度が低く、設定の詳細一つで評価結果が左右されてしまいます。ツール呼び出しを正しくレンダリングしないチャットテンプレートや、並列のツール呼び出しを削除してしまうパーサー、コンテキストウィンドウを意図せず分割するサーバーフラグなどが、評価結果に影響を与える要因となっています。

デバイスは移動する標的

オンデバイスでのパフォーマンスは、熱設計や電力モード、冷却性能、そして各オペレーティングシステムがメモリをどう扱うかに依存します。ある結果セットが意味を持つのは、そのモデル、量子化方式、ランタイム、起動フラグ、物理的な温度制御レベルといった要素の正確な組み合わせという文脈においてだけです。

一つのモデル名に複数のビルドが含まれる

同じ重み（weights）でも、量子化フォーマットによって複数のバージョンとして出荷されます。あるビルドに必要なメモリ量は、その量子化方式やアーキテクチャ、コンテキスト長、KVキャッシュのサイズによって決まります。これらの量子化されたモデル版は、モデル開発ラボが公式にリリースするものもあれば、第三者が作成した透明性の異なるものもあります。

今回発表すること

今回の発表では、Artificial Analysis が実施する知能ベンチマークと、Liquid AI（Liquid AI）が開発・実行する推論ベンチマークを併せてお伝えします。同じビルドで量子化レベルが 4 ビット以下であるモデルを対象に、デバイスが実際に読み込む環境に近い条件でテストを行います。llama.cpp で提供されるモデルを用いることで、両方の評価側面を可能な限り同様の条件下で測定します。モデルの選定基準は、8K コンテキストに必要な KV キャッシュを含めて量子化後に 8 GB のメモリ内に収まることです。

モバイルデバイス用ベンチマークセット

知能（Intelligence）の評価は、5 つの評価項目からなるセットによって行われます。これは、スマホ規模のモデルが備えるべき能力の範囲を代表するように選定されたものです。具体的には、指示従順性、ツール呼び出し、知識・ recall、そして推論能力です。

BFCL

ツール呼び出しに関するベンチマーク。640 のタスクからなるサブセット（3 つのカテゴリ：適切なツールの選択、複数回のツール使用、該当するツールがない場合の断り）を対象に評価を行います。

IFBench

正確で検証可能な出力制約を伴う指示従順性のテストです。

AA-Omniscience

知識の精度とハルシネーション（幻覚・誤生成）への耐性を測定。両者の評価比率は半々ずつ設定されています。

GPQA Diamond

大学院レベルの科学的推論能力を問う、多肢選択形式の問題です。

MATH-500

シンボル計算による回答検証を行う競技数学の問題セットです。

ベンチマークプロセスの詳細については、Mobile Device Benchmark Set の方法論ページをご覧ください。

Mobile Phone Inference

Liquid AI はモバイル端末向けの推論評価製品「Pipette」を開発し、GitHub でオープンソース化しました。同社の手法は標準化されたテストハーンと、再現性のある結果を得るための気候制御実験施設を含むものであり、当社はこれを独立して検証済みです。Liquid AI の詳細な方法論については、Pipette ドキュメントをご参照ください。

iPhone 17 Pro の評価結果

Nanbeige4.2-3B と LFM2.5-2.6B は、起動時に 16K のコンテキスト制限付きで平均評価スコアトップを争い、どちらも 63 点を記録しました。これに次いで Ornith-1.0-9B が 62 点、Qwen3.5 9B (Reasoning) が 61 点です。

LFM2.5-2.6B は、このスコアをより効率的に達成しています。iPhone 17 Pro では、標準的な 1,024 トークンのプロンプトに対して 8.0 秒で回答し、メモリ使用量は 2.3 GB です。一方、Nanbeige4.2-3B は 21.4 秒と 4.0 GB を要しました。また、2 つの 9B モデルではそれぞれ 25 秒以上かかり、メモリ使用量は 6.9 GB に達します。

このベンチマークセットには 42 の量子化ビルドが含まれており、そのうち 34 が iPhone 17 Pro で正常に動作しました。

「速度と知能のパレートフロンティア」は意外にも狭い。iPhone 17 Pro において、両軸で他を圧倒するモデルはわずか 6 つだ。LFM2.5-230M（スコア 27、時間 0.9 秒）、MiniCPM5-1B（45、2.9 秒）、LFM2.5-8B-A1B（58、5.7 秒）、Ling 3.0 Tiny（59、5.7 秒）、LFM2.5-2.6B（63、8.0 秒）、そして Nanbeige4.2-3B（63、21.4 秒）である。特に LFM2.5-8B-A1B と Ling 3.0 Tiny は Mixture-of-Experts モデルであり、トークン生成時に約 10 億パラメータのみが活性化される仕組みだ。このため、8B クラスの重みを持ちながら 6 秒以内で回答を完了できるのだ。

16K のコンテキスト長がリーダーボードの基準となっている。Qwen3.5 9B のように知能が高いモデルでも、モバイル端末での実用性を考えると評価タスクに費やす出力トークン数が多すぎる。ベンチマークセット全体で 74.5M トークンを消費するのに対し、総合スコアが僅差で並ぶ Gemma 4 E4B (Reasoning) は 5.2M トークンだ。Qwen3.5 9B (Reasoning) は生成の 29% で 16K のコンテキスト制限に達し、これがスコアの低下を招いている。もし制限を 64K に引き上げれば、Ling 3.0 Tiny が 66 点で首位に立ち、Nanbeige4.2-3B（65 点）や LFM2.5-2.6B、Qwen3.5 9B (Reasoning)（ともに 64 点）を抜く。しかし、64K のウィンドウはモバイル端末のメモリに収まらない。iPhone 17 Pro で秒間 55 トークンの生成速度であっても、64K を出力するには 20 分以上待たされ、バッテリー消費も甚大になるだろう。そのため、今回の主要な結果は 16K に制限しているが、64K 制限版や生成時間 1 分以内の制限版の結果も併せて公開する。

60 秒という回答制限を設けると、ランキングの順序は劇的に変わります。iPhone 17 Pro で 1 分間に生成可能なトークン数（出力速度×60）で上限を設定し、プロンプト処理時間を除いた場合、LFM2.5-8B-A1B が 47 点で首位に立ちます。次いで LFM2-2.6B-Exp が 45 点、Gemma 4 E4B（推論機能なし）が 44 点です。LFM2.5-2.6B は 38 点まで落ち込み、Nanbeige4.2-3B はわずか 18 点となります。後者は秒間約 14 トークンの出力速度のため、回答あたり 850 トークン程度しか生成できず、推論の多くが完了する前にタイムアウトしてしまいます。Qwen3.5 9B（推論機能あり）は 14 点です。

今回のベンチマークデータでは 60 秒制限を主要なフィルタとして採用していませんが、これはモバイルユーザーが実際に許容できる最大待機時間に近い基準と言えるでしょう。

上位モデルたちはそれぞれ対照的な強みを持っています。Nanbeige4.2-3B は最もバランスが取れており、BFCL ではベストの 76% に肉薄し、MATH-500 で 3 位（96%）、GPQA Diamond で 4 位（67%）を記録しています。Qwen3.5 9B（推論機能なし）はツール呼び出しが最も得意で BFCL で 77%、科学的推論でも GPQA Diamond で 79% と最強のスコアを出しました。一方、Ornith-1.0-9B は事実の想起において他を圧倒し、AA-Omniscience で 15% の精度を達成しています。

LFM2.5-2.6B は iPhone 上で測定されたモデルの中で最も指示に従う能力に優れ、IFBench で 59% を記録。また MATH-500 では 90% をクリアしました。何より重要なのは、安易に推測するよりも断る姿勢が圧倒的に高い点です。その非ハルシネーション（虚偽生成）率は 79% に達し、Nanbeige4.2-3B の 33% や、Qwen3.5 9B の 2 つのバリアントにおける 24% と 1% を大きく上回っています。

このコンポーネントにより、Nanbeige4.2-3B と同レベルに引き上げられています。ただし、残りの 4 つの評価項目のみで見ると、Nanbeige4.2-3B、Ornith-1.0-9B、そして Qwen3.5 9B (Reasoning) の方が上位に位置します。

生成にかかる時間は最大で 30 倍の開きがあります。LFM2.5-230M では 0.9 秒、Falcon-H1R-7B では 26.7 秒です。これはすべて、同一の 1,024 トークンのプロンプトと 256 トークンのレスポンスを測定したエンドツーエンドの時間です。

必要なメモリ量も桁違いに異なります。4K コンテキストでの実行時ピークメモリは、最小モデルで 0.4 GB、最も重い Ornith-1.0-9B や Qwen3.5 9B では 6.9 GB に達します。12 GB のスマートフォンでは、この上限値だと OS や他のアプリが動作する余地が限られてしまいます。

以下の推論結果は iPhone 17 Pro で測定したものです。その他のデバイスでのベンチマーク結果は、新しいモデルやデバイスの追加に合わせて随時更新される mobile phones ページ に掲載されています。知能に関する評価結果はデバイスに依存しないものであり、すべてのモデルが同じビルドで、デバイスが読み込む際と同様に 4 ビット以下に量子化された状態で評価されています。

平均スコア（最大コンテキスト 16K）vs エンドツーエンド生成時間 iPhone 17 Pro

現実的なモバイル端末の使用を反映するよう選ばれた 5 つの評価項目の単純平均：BFCL (サブセット)、IFBench、AA-Omniscience、GPQA Diamond、MATH-500 · コンテキストは 16K トークンに制限 · E2E 時間は 1,024 トークンのプロンプト処理と 256 トークンのレスポンス生成にかかった秒数

最も魅力的なクアドラント

パレートライン

##

本ベンチマークは、実際のモバイルデバイスでの利用シーンを代表する 5 つの評価指標の単純平均値です。対象モデルは携帯ハードウェアに収まるサイズのものに限られ、各評価は Artificial Analysis によって独立して行われました。詳細については こちら をご覧ください。

##

1,024 トークンのプロンプトを処理し、256 トークンのレスポンスを生成するまでの実測時間（ウォールクロックタイム）です。これは使用されるハードウェアとモデルのアーキテクチャに根本的に依存する値であり、モデルの冗長性やターン数の傾向による影響は含まれません。

エンドツーエンド生成時間 iPhone 17 Pro

1,024 トークンのプロンプトを処理し、256 トークンのレスポンスを生成するまでの秒数。低いほど優れています。

##

1,024 トークンのプロンプトを処理し、256 トークンのレスポンスを生成するまでの実測時間（ウォールクロックタイム）です。これは使用されるハードウェアとモデルのアーキテクチャに根本的に依存する値であり、モデルの冗長性やターン数の傾向による影響は含まれません。

平均スコア (モバイルデバイスベンチマークセット、最大コンテキスト 16K) iPhone 17 Pro

実際のモバイル利用を代表する 5 つの評価指標の単純平均：BFCL（サブセット）、IFBench、AA-Omniscience、GPQA Diamond、MATH-500。コンテキスト長は 16K トークンに制限されています。高いほど優れています。

実機評価の平均値

本ベンチマークは、実際のモバイルデバイスでの利用シーンを代表する 5 つの評価項目を単純平均したものです。対象モデルはポータブルハードウェアに収まるサイズに限定され、各評価は Artificial Analysis によって独立して実施されました。

詳細については、メソドロジー をご参照ください。

コンテキスト予算の超過

16K トークンの制限で生成が中断し、完了しなかったケースの割合です。すべての評価項目において測定され、数値が低いほど優れています。

モバイルデバイス用ベンチマークセットの評価結果（最大コンテキスト 16K トークン）

Artificial Analysis が独立して実施した知能評価です。コンテキストは 16K トークンに制限されています。数値が高いほど優れています。

BFCL

• ツール呼び出し（インデックスサブセット）

IFBench

• 指示従順性

AA-Omniscience Accuracy

• 知識の正確さ

AA-Omniscience Non-Hallucination Rate

• 1 - ハルシネーション発生率

GPQA Diamond

• 科学的推論能力

MATH-500

• 定量的推論能力

次のステップ

知能評価とオンデバイス推論の両方のベンチマークを拡大する予定です。具体的な次期計画は以下の通りです。

• 単一の量子化ではなく、メモリ使用量（メモリーフットプリント）でモデルを比較し、過度に量子化された大規模モデルと高精度な小規模モデルが同等の条件で競合できるようにする
• 新モデルのリリースに合わせて評価対象を追加する
• llama.cpp 以外の推論フレームワークや、より多くのデバイスからの結果を取り込む
• 小規模モデルやオンデバイス利用に特化した評価手法の調査を行う

さらに詳しく

知能とデバイス推論の結果については、スマートフォンページをご覧ください。

評価結果や、既存ベンチマークへのカスタマイズ内容は、モバイルデバイスベンチマークセットの手法ページで確認できます。

Liquid AI が公開しているオンデバイス用ベンチマークハネスは GitHub にあります。