InfoQメディア報道·2026年2月25日 04:00·約4分

Apple研究者がFerret-UI Liteを発表、UIを見て操作するオンデバイスAIモデル

#オンデバイスAI #GUIエージェント #マルチモーダル #強化学習 #Apple #モバイルAI

整理・翻訳:ainew.jp 編集システムAIによる自動処理作り方と限界

本文の状態

日本語全文を表示中

詳細モードで約4分の本文を読めます。

同じ出来事の情報源

この情報源を基点に整理

InfoQ

まず要点

Appleが開発したFerret-UI Liteは、モバイルやデスクトップ画面を理解し、UI要素を操作できる3BパラメータのオンデバイスAIモデルです。

Source Article

元記事を日本語で読む

本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。

Appleの研究者が、UIを認識・制御するオンデバイスAIモデル「Ferret-UI Lite」を発表

2026年2月24日読了時間 2分

Sergio De Simone

InfoQ寄稿者

本記事を聴く - 0:00 再生準備完了お使いのブラウザはオーディオ要素をサポートしていません。 0:00 0:00 標準1.25倍速1.5倍速読み上げリスト

AppleのFerret-UI Liteは、モバイルおよびデスクトップ画面向けに最適化された30億パラメータのモデルであり、画面画像を解釈し、アイコンやテキストなどのUI要素を理解し、メッセージを読んだり健康データをチェックするなどしてアプリと対話するように設計されています。

この研究は、モバイル、ウェブ、デスクトップなど複数のプラットフォームにわたるグラフィカルユーザーインターフェース（GUI）と直接対話できる、コンパクトなオンデバイスGUIエージェントの構築に焦点を当てています。

関連論文で研究者らは、「既存のGUIエージェントに関する手法の大半は、逆に、GPTやGeminiのような大規模基盤モデルに焦点を当てている」と指摘し、これによりこれらのエージェントは「多様なGUIナビゲーションタスクにおいて印象的な能力」を獲得していると述べています。しかし、その代償として「モデルの複雑さ、必要な計算リソース、推論時間」の増大、さらには高いレイテンシ、プライバシー保証の低下、ネットワーク接続への依存が生じています。このことが、競争力のある小型のオンデバイスエンドツーエンドエージェントの開発を研究する動機となりましたが、これは依然として困難な課題です。

小型モデル開発のために最適化された技術を活用し、我々は30億パラメータのFerret-UI Liteエージェントを構築しました。その手法は、実データと合成データ源から多様なGUIデータを精選して組み合わせること、連鎖思考推論と視覚的ツール利用による推論時のパフォーマンス強化、そして設計された報酬を用いた強化学習です。

研究者らは説明します。Ferret-UI Liteは、画面画像の切り抜きと連鎖思考プロンプトを用いて、小さなUI要素を含む複雑なレイアウトを理解する精度を向上させます。この戦略により、「大規模モデルと比較して競争力のある、場合によっては優れた性能」がもたらされ、ScreenSpot-V2でのGUIグラウンディングタスク（自然言語の指示に基づいて特定のUI要素の位置を特定・識別するタスク）で91.6%、ScreenSpot-Proで53.3%、OSWorld-Gで61.2%を達成しました。GUIナビゲーションタスクでは、AndroidWorldで成功率28.0%、OSWorldで19.8%を達成しました。

学習には、2段階のパイプラインが採用されました。第1段階では、実データと合成データを組み合わせた多様なGUIインタラクションデータを用いた教師ありファインチューニング（SFT）が行われました。第2段階では、検証可能な報酬を用いた強化学習（RLVR）を適用し、厳密な模倣ではなくタスクの成功を最適化しました。さらに、アクション形式を標準化し、「ズームイン」や連鎖思考推論といった推論時技術を含めることで、モデルの知覚精度を高めました。

研究者らは結論として、GUIグラウンディングとナビゲーションのデータは互いに補完し合うことができ、多様なソースからの合成データを精選することで両タスクのパフォーマンスが大幅に向上すると述べています。さらに、連鎖思考推論と視覚的ツールは改善をもたらすものの、その効果には限界があるとしています。欠点としては、小型モデルは依然として長期的で多段階のタスクに苦戦し、報酬設計の影響を受けやすい点が挙げられています。

研究者らは、Ferret-UI Liteがオンデバイスの「インテリジェント」エージェントとして機能し、AppleがSiriにおけるGoogle Cloudへの依存を減らしながら「プライバシーシールド」を提供できる可能性を示唆しています。

著者について

Sergio De Simone

この記事を評価する

このコンテンツはMobileトピックに属しています

関連スポンサー

2026年3月5日午前11時（EST） Apache Airflowを用いた本番環境対応AIワークフローのオーケストレーション

講演者: Tamara Fingerlin - Astronomer シニアデベロッパーアドボケート、Pranav Bahadur - Astronomer プロダクトマーケティングマネージャー

The InfoQ Newsletter

毎週火曜日配信、InfoQで先週公開されたコンテンツのまとめ。25万人以上のシニア開発者コミュニティに参加しましょう。サンプルを見る

私たちはあなたのプライバシーを保護します。

原文を表示

InfoQ Homepage News Apple Researchers Introduce Ferret-UI Lite, an On-Device AI Model for Seeing and Controlling UIs

Apple Researchers Introduce Ferret-UI Lite, an On-Device AI Model for Seeing and Controlling UIs

Feb 24, 2026 2 min read

Sergio De Simone

Write for InfoQ

Listen to this article - 0:00 Audio ready to play Your browser does not support the audio element. 0:00 0:00 Normal1.25x1.5x Like Reading list

Apple's Ferret-UI Lite is a 3B-parameter model optimized for mobile and desktop screens, designed to interpret screen images, understand UI elements such as icons and text, and interact with apps by, e.g., reading messages, checking health data, and more.

The study centers on building compact, on-device GUI agents capable of directly interacting with graphical user interfaces (GUIs) across platforms, including mobile, web, and desktop.

In the related paper, the researchers observe that "the majority of existing methods on GUI agents, contrarily, focus on large foundation models", such as GPT and Gemini, granting these agents "impressive capabilities in diverse GUI navigation tasks". However, this comes at the cost of "modeling complexity, compute budget requirements, and inference time" as well as higher latency, reduced privacy guarantees, and dependency on network connectivity. This motivated the authors to investigate the development of competitive, small, on-device end-to-end agents, which remain challenging.

Utilizing techniques optimized for developing small models, we build our 3B Ferret-UI Lite agent through curating a diverse GUI data mixture from real and synthetic sources, strengthening inference-time performance through chain-of-thought reasoning and visual tool-use, and reinforcement learning with designed rewards.

Ferret-UI Lite, the researchers explain, uses screen image cropping and chain-of-thought prompting to improve accuracy in understanding complex layouts with small UI elements. This strategy brings "competitive, or in some cases superior, performance compared to larger models", achieving 91.6% in GUI grounding tasks (which involve locating and identifying specific UI elements based on natural-language instructions) on ScreenSpot-V2, 53.3% on ScreenSpot-Pro, and 61.2% on OSWorld-G. For GUI navigation tasks, it achieved success rates of 28.0% on AndroidWorld and 19.8% on OSWorld.

For training, the researchers employed a two-stage pipeline. The first stage leveraged supervised fine-tuning (SFT) on a diverse mixture of real and synthetic GUI interaction data. In the second stage, they applied reinforcement learning with verifiable rewards (RLVR) to optimize for task success rather than strict imitation. Additionally, they standardized action formats and included inference-time techniques such as “zoom-in” and chain-of-thought reasoning, to enhance the model’s perceptual accuracy.

The researchers conclude that GUI grounding and navigation data can complement each other, and that the curation of synthetic data from diverse sources significantly improves performance in both tasks. Furthermore, while chain-of-thought reasoning and visual tools bring improvements, their benefit is limited. On the downside, small models continue to struggle with long-horizon, multi-step tasks and are sensitive to reward design.

The researchers suggest that Ferret-UI Lite could function as an on-device "intelligent" agent, enabling Apple to reduce dependence on Google Cloud for Siri while offering a "privacy shield".

About the Author

Sergio De Simone

Rate this Article

This content is in the Mobile topic

Apple研究者がFerret-UI Liteを発表、UIを見て操作するオンデバイスAIモデル

元記事を日本語で読む

関連記事

調べる

選ぶ

サイト