MobilePA-Bench: モバイル OS 上の複雑な実世界タスクを評価

オンデバイス型LLMエージェントがパーソナルコパイロットへと進化を遂げる中、モバイルOSはこのパラダイムにおける重要なテストベッドとなっています。そのため、厳密な能力評価が不可欠です。しかし、既存のベンチマークは二つの阵营に分かれており、それぞれに致命的な盲点があります。

GUI中心のベンチマークは画面操作という表面レベルの評価に終始し、バックグラウンドでのツール利用や長期計画を見過ごしています。一方、静的な関数呼び出しベースのベンチマークは、実際のランタイム制約から切り離されたオフラインAPIマッチングに依存しています。

このギャップを埋めるため、私たちはMobilePA-Benchを発表します。これはモバイルプランニングエージェントのツール呼び出し能力と計画能力を評価するための、インタラクティブで状態保持型、かつツール中心のベンチマークです。MobilePA-Benchは実行可能なサンドボックス上で動作し、ライブなアプリケーションデータベースを維持しながら構造化されたフィードバックを返します。13 の機能ドメインにわたる 212 の現実的なモバイルツールを対象としています。

基本的なツールの利用を超え、中央のプランニングエージェントについて以下の 3 つの高度な次元で評価を行います。

(1) サブエージェントとの協働：複雑なタスクを分解し、専門的な作業を適切なサブエージェントに委任する能力。

(2) メモリ活用：保存されたメモリやユーザープロファイル、過去の嗜好を呼び出して、暗黙的な要求に応える能力。

(3) スキル活用：すべての手順を一から計画するのではなく、事前にパッケージ化された複合スキルを呼び出す能力。

大規模な実験結果によると、現在の最先端LLMはモバイル環境において依然として信頼性に欠けます。厳格なツールの順序制約や権限制限、予期せぬランタイムエラーが発生すると、パフォーマンスは急激に低下します。

インタラクティブな関数呼び出しサンドボックスと、証拠に基づく検証を組み合わせることで、MobilePA-Bench は実用的な診断ベンチマークであると同時に、エージェント型強化学習のための対話型の基盤としても機能します。これにより、信頼性の高いモバイルエージェントの開発が加速されます。