Ferret-UI Lite：小型オンデバイスGUIエージェント構築からの教訓

Ferret-UI Lite: 小型オンデバイスGUIエージェント構築から得られた教訓 著者: Zhen Yang, Zi-Yi Dou, Di Feng, Forrest Huang, Anh Nguyen, Keen You, Omar Attia, Yuhao Yang, Michael Feng, Haotian Zhang, Ram Ramrakhya, Chao Jia, Jeffrey Nichols, Alexander Toshev, Yinfei Yang, Zhe Gan 出版物を見る グラフィカルユーザーインターフェース（GUI）と効果的に相互作用する自律エージェントの開発は、特に小型のオンデバイスモデルにおいて、依然として困難な未解決の問題です。本論文では、モバイル、ウェブ、デスクトップなど多様なプラットフォームにわたって動作する、コンパクトなエンドツーエンドのGUIエージェントであるFerret-UI Liteを紹介します。小型モデル開発に最適化された技術を活用し、実データと合成データソースから多様なGUIデータ混合物を精選し、連鎖思考推論と視覚的ツール使用による推論時のパフォーマンス強化、そして設計された報酬を用いた強化学習を通じて、3BパラメータのFerret-UI Liteエージェントを構築しました。Ferret-UI Liteは、他の小規模GUIエージェントと競争力のある性能を達成しています。GUIグラウンディングでは、Ferret-UI LiteはScreenSpot-V2、ScreenSpot-Pro、OSWorld-Gベンチマークにおいて、それぞれ91.6%、53.3%、61.2%のスコアを獲得しました。GUIナビゲーションでは、Ferret-UI LiteはAndroidWorldで28.0%、OSWorldで19.8%の成功率を達成しました。我々は、コンパクトなオンデバイスGUIエージェントの開発から得られた手法と教訓を共有します。 関連する文献と最新情報。 Ferret-UI 2: プラットフォームを超えた普遍的なユーザーインターフェース理解の習得 2025年4月10日 研究分野 コンピュータビジョン、研究分野 ヒューマンコンピュータインタラクション 会議 ICLR プラットフォームの多様性、解像度のばらつき、データの制限など、様々な根本的な問題により、ユーザーインターフェース（UI）理解のための汎用モデルの構築は困難です。本論文では、iPhone、Android、iPad、Webページ、AppleTVなど、幅広いプラットフォームにわたる普遍的なUI理解のために設計されたマルチモーダル大規模言語モデル（MLLM）、Ferret-UI 2を紹介します。Ferret-UIの基盤の上に構築されたFerret-UI 2は… Ferret-UI: マルチモーダルLLMによる確固たるモバイルUI理解 2024年9月10日 研究分野 コンピュータビジョン、研究分野 ヒューマンコンピュータインタラクション 会議 ECCV マルチモーダル大規模言語モデル（MLLM）の最近の進歩は注目に値しますが、これらの汎用領域のMLLMは、ユーザーインターフェース（UI）画面を効果的に理解し、相互作用する能力において、しばしば不十分です。本論文では、参照、グラウンディング、推論能力を備え、モバイルUI画面の理解を強化するために調整された新しいMLLM、Ferret-UIを提示します。UI画面は通常、より… 機械学習における機会を発見する。 私たちの機械学習研究は、日々新たな領域を切り開いています。 ![](https://mlr.cdn-apple.com/media/Discover_1440x420_2x_9c465d585e.jpg)

Ferret-UI Lite：小型オンデバイスGUIエージェント構築からの教訓

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト