MobilePA-Bench: モバイル OS 上の複雑な実世界タスクを評価

記事の3ポイント

1. 1

   既存ベンチマークの限界克服

   GUI 中心のベンチが背景ツールの利用や長期計画を見落とし、静的関数呼び出しベンチが実際のランタイム制約から乖離しているという二つの盲点を指摘し、その隙間を埋める目的で本枠組みが開発された。

2. 2

   インタラクティブな評価環境

   実行可能なサンドボックス上で動作し、ライブのアプリケーションデータベースと構造化フィードバックを提供する MobilePA-Bench は、13 の機能ドメインと 212 の現実的なモバイルツールをカバーしている。

3. 3

   高度な評価次元の導入

   基本機能に加え、サブエージェントとの協力によるタスク分解、記憶やユーザープロファイルの活用、事前パッケージされたスキルの利用という 3 つの高度な次元でプランニングエージェントを評価する。