Apple研究者がFerret-UI Liteを発表、UIを見て操作するオンデバイスAIモデル

Appleの研究者が、UIを認識・制御するオンデバイスAIモデル「Ferret-UI Lite」を発表 Appleの研究者が、UIを認識・制御するオンデバイスAIモデル「Ferret-UI Lite」を発表 2026年2月24日 読了時間 2分 Sergio De Simone InfoQ寄稿者 本記事を聴く - 0:00 再生準備完了 お使いのブラウザはオーディオ要素をサポートしていません。 0:00 0:00 標準1.25倍速1.5倍速 読み上げリスト AppleのFerret-UI Liteは、モバイルおよびデスクトップ画面向けに最適化された30億パラメータのモデルであり、画面画像を解釈し、アイコンやテキストなどのUI要素を理解し、メッセージを読んだり健康データをチェックするなどしてアプリと対話するように設計されています。 この研究は、モバイル、ウェブ、デスクトップなど複数のプラットフォームにわたるグラフィカルユーザーインターフェース（GUI）と直接対話できる、コンパクトなオンデバイスGUIエージェントの構築に焦点を当てています。 関連論文で研究者らは、「既存のGUIエージェントに関する手法の大半は、逆に、GPTやGeminiのような大規模基盤モデルに焦点を当てている」と指摘し、これによりこれらのエージェントは「多様なGUIナビゲーションタスクにおいて印象的な能力」を獲得していると述べています。しかし、その代償として「モデルの複雑さ、必要な計算リソース、推論時間」の増大、さらには高いレイテンシ、プライバシー保証の低下、ネットワーク接続への依存が生じています。このことが、競争力のある小型のオンデバイスエンドツーエンドエージェントの開発を研究する動機となりましたが、これは依然として困難な課題です。 小型モデル開発のために最適化された技術を活用し、我々は30億パラメータのFerret-UI Liteエージェントを構築しました。その手法は、実データと合成データ源から多様なGUIデータを精選して組み合わせること、連鎖思考推論と視覚的ツール利用による推論時のパフォーマンス強化、そして設計された報酬を用いた強化学習です。 研究者らは説明します。Ferret-UI Liteは、画面画像の切り抜きと連鎖思考プロンプトを用いて、小さなUI要素を含む複雑なレイアウトを理解する精度を向上させます。この戦略により、「大規模モデルと比較して競争力のある、場合によっては優れた性能」がもたらされ、ScreenSpot-V2でのGUIグラウンディングタスク（自然言語の指示に基づいて特定のUI要素の位置を特定・識別するタスク）で91.6%、ScreenSpot-Proで53.3%、OSWorld-Gで61.2%を達成しました。GUIナビゲーションタスクでは、AndroidWorldで成功率28.0%、OSWorldで19.8%を達成しました。 学習には、2段階のパイプラインが採用されました。第1段階では、実データと合成データを組み合わせた多様なGUIインタラクションデータを用いた教師ありファインチューニング（SFT）が行われました。第2段階では、検証可能な報酬を用いた強化学習（RLVR）を適用し、厳密な模倣ではなくタスクの成功を最適化しました。さらに、アクション形式を標準化し、「ズームイン」や連鎖思考推論といった推論時技術を含めることで、モデルの知覚精度を高めました。 研究者らは結論として、GUIグラウンディングとナビゲーションのデータは互いに補完し合うことができ、多様なソースからの合成データを精選することで両タスクのパフォーマンスが大幅に向上すると述べています。さらに、連鎖思考推論と視覚的ツールは改善をもたらすものの、その効果には限界があるとしています。欠点としては、小型モデルは依然として長期的で多段階のタスクに苦戦し、報酬設計の影響を受けやすい点が挙げられています。 研究者らは、Ferret-UI Liteがオンデバイスの「インテリジェント」エージェントとして機能し、AppleがSiriにおけるGoogle Cloudへの依存を減らしながら「プライバシーシールド」を提供できる可能性を示唆しています。 著者について Sergio De Simone この記事を評価する このコンテンツはMobileトピックに属しています 関連トピック: AI, ML & データエンジニアリング 大規模言語モデル 関連エディトリアル 関連スポンサー 関連スポンサー 2026年3月5日 午前11時（EST） Apache Airflowを用いた本番環境対応AIワークフローのオーケストレーション 講演者: Tamara Fingerlin - Astronomer シニアデベロッパーアドボケート、Pranav Bahadur - Astronomer プロダクトマーケティングマネージャー The InfoQ Newsletter 毎週火曜日配信、InfoQで先週公開されたコンテンツのまとめ。25万人以上のシニア開発者コミュニティに参加しましょう。 サンプルを見る 私たちはあなたのプライバシーを保護します。

Apple研究者がFerret-UI Liteを発表、UIを見て操作するオンデバイスAIモデル

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト