Ferret-UI Lite：小型オンデバイスGUIエージェント構築からの教訓
本文の状態
日本語全文を表示中
詳細モードで約3分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Apple Machine Learning
Ferret-UI Liteは、モバイルなど多様なプラットフォームで動作する小型のGUIエージェントで、オンデバイスモデルにおけるGUI操作の課題に取り組む。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Ferret-UI Lite: 小型オンデバイスGUIエージェント構築から得られた教訓
著者: Zhen Yang, Zi-Yi Dou, Di Feng, Forrest Huang, Anh Nguyen, Keen You, Omar Attia, Yuhao Yang, Michael Feng, Haotian Zhang, Ram Ramrakhya, Chao Jia, Jeffrey Nichols, Alexander Toshev, Yinfei Yang, Zhe Gan
出版物を見る
グラフィカルユーザーインターフェース（GUI）と効果的に相互作用する自律エージェントの開発は、特に小型のオンデバイスモデルにおいて、依然として困難な未解決の問題です。本論文では、モバイル、ウェブ、デスクトップなど多様なプラットフォームにわたって動作する、コンパクトなエンドツーエンドのGUIエージェントであるFerret-UI Liteを紹介します。小型モデル開発に最適化された技術を活用し、実データと合成データソースから多様なGUIデータ混合物を精選し、連鎖思考推論と視覚的ツール使用による推論時のパフォーマンス強化、そして設計された報酬を用いた強化学習を通じて、3BパラメータのFerret-UI Liteエージェントを構築しました。Ferret-UI Liteは、他の小規模GUIエージェントと競争力のある性能を達成しています。GUIグラウンディングでは、Ferret-UI LiteはScreenSpot-V2、ScreenSpot-Pro、OSWorld-Gベンチマークにおいて、それぞれ91.6%、53.3%、61.2%のスコアを獲得しました。GUIナビゲーションでは、Ferret-UI LiteはAndroidWorldで28.0%、OSWorldで19.8%の成功率を達成しました。我々は、コンパクトなオンデバイスGUIエージェントの開発から得られた手法と教訓を共有します。
関連する文献と最新情報。
Ferret-UI 2: プラットフォームを超えた普遍的なユーザーインターフェース理解の習得
2025年4月10日 研究分野 コンピュータビジョン、研究分野 ヒューマンコンピュータインタラクション 会議 ICLR
プラットフォームの多様性、解像度のばらつき、データの制限など、様々な根本的な問題により、ユーザーインターフェース（UI）理解のための汎用モデルの構築は困難です。本論文では、iPhone、Android、iPad、Webページ、AppleTVなど、幅広いプラットフォームにわたる普遍的なUI理解のために設計されたマルチモーダル大規模言語モデル（MLLM）、Ferret-UI 2を紹介します。Ferret-UIの基盤の上に構築されたFerret-UI 2は…
Ferret-UI: マルチモーダルLLMによる確固たるモバイルUI理解
2024年9月10日 研究分野 コンピュータビジョン、研究分野 ヒューマンコンピュータインタラクション 会議 ECCV
マルチモーダル大規模言語モデル（MLLM）の最近の進歩は注目に値しますが、これらの汎用領域のMLLMは、ユーザーインターフェース（UI）画面を効果的に理解し、相互作用する能力において、しばしば不十分です。本論文では、参照、グラウンディング、推論能力を備え、モバイルUI画面の理解を強化するために調整された新しいMLLM、Ferret-UIを提示します。UI画面は通常、より…
機械学習における機会を発見する。
私たちの機械学習研究は、日々新たな領域を切り開いています。
原文を表示
Ferret-UI Lite: Lessons from Building Small On-Device GUI Agents
AuthorsZhen Yang, Zi-Yi Dou, Di Feng, Forrest Huang, Anh Nguyen, Keen You, Omar Attia, Yuhao Yang, Michael Feng, Haotian Zhang, Ram Ramrakhya, Chao Jia, Jeffrey Nichols, Alexander Toshev, Yinfei Yang, Zhe Gan
View publication
Developing autonomous agents that effectively interact with Graphic User Interfaces (GUIs) remains a challenging open problem, especially for small on-device models. In this paper, we present Ferret-UI Lite, a compact, end-to-end GUI agent that operates across diverse platforms, including mobile, web, and desktop. Utilizing techniques optimized for developing small models, we build our 3B Ferret-UI Lite agent through curating a diverse GUI data mixture from real and synthetic sources, strengthening inference-time performance through chain-of-thought reasoning and visual tool-use, and reinforcement learning with designed rewards. Ferret-UI Lite achieves competitive performance with other small-scale GUI agents. In GUI grounding, Ferret-UI Lite attains scores of 91.6%, 53.3%, and 61.2% on the ScreenSpot-V2, ScreenSpot-Pro, and OSWorld-G benchmarks, respectively. For GUI navigation, Ferret-UI Lite achieves success rates of 28.0% on AndroidWorld and 19.8% on OSWorld. We share our methods and lessons learned from developing compact, on-device GUI agents.
Related readings and updates.
Ferret-UI 2: Mastering Universal User Interface Understanding Across Platforms
April 10, 2025research area Computer Vision, research area Human-Computer Interactionconference ICLR
Building a generalist model for user interface (UI) understanding is challenging due to various foundational issues, such as platform diversity, resolution variation, and data limitation. In this paper, we introduce Ferret-UI 2, a multimodal large language model (MLLM) designed for universal UI understanding across a wide range of platforms, including iPhone, Android, iPad, Webpage, and AppleTV. Building on the foundation of Ferret-UI, Ferret-UI…
Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
September 10, 2024research area Computer Vision, research area Human-Computer Interactionconference ECCV
Recent advancements in multimodal large language models (MLLMs) have been noteworthy, yet, these general-domain MLLMs often fall short in their ability to comprehend and interact effectively with user interface (UI) screens. In this paper, we present Ferret-UI, a new MLLM tailored for enhanced understanding of mobile UI screens, equipped with referring, grounding, and reasoning capabilities. Given that UI screens typically exhibit a more…
Discover opportunities in Machine Learning.
Our research in machine learning breaks new ground every day.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み