ScreenAI：UIと視覚的状況言語理解のための視覚言語モデル

投稿者: Srinivas Sunkara および Gilles Baechler, ソフトウェアエンジニア, Google Research

画面ユーザーインターフェース（UI）や、チャート、図表、表などのインフォグラフィックは、豊かでインタラクティブなユーザー体験を促進するため、人間同士のコミュニケーションや人間と機械のインタラクションにおいて重要な役割を果たしています。UIとインフォグラフィックは、アイコンやレイアウトなどの類似したデザイン原則と視覚的言語を共有しており、これらのインターフェースを理解し、推論し、対話できる単一のモデルを構築する機会を提供します。しかし、その複雑さと多様な表現形式のため、インフォグラフィックとUIは独特のモデリング上の課題を提示しています。

この目的のために、私たちは「 ScreenAI: UIとインフォグラフィック理解のための視覚言語モデル 」を紹介します。ScreenAIは、 PaLIアーキテクチャ を、 pix2struct の柔軟なパッチング戦略で改良したものです。私たちは、モデルが画面上のUI要素情報（タイプ、位置、説明）を識別することを要求する新しいScreen Annotationタスクを含む、独自のデータセットとタスクの組み合わせでScreenAIをトレーニングしました。これらのテキスト注釈は、大規模言語モデル（LLM）に画面の説明を提供し、質問応答（QA）、UIナビゲーション、要約のトレーニングデータセットを大規模に自動生成することを可能にします。わずか50億パラメータという規模でありながら、ScreenAIはUIおよびインフォグラフィックベースのタスク（ WebSRC および MoTIF ）において最先端の結果を達成し、同規模のモデルと比較して、 Chart QA 、 DocVQA 、 InfographicVQA において最高クラスのパフォーマンスを示します。また、モデルのレイアウト理解能力を評価するための Screen Annotation 、およびそのQA能力をより包括的に評価するための ScreenQA Short と Complex ScreenQA という3つの新しいデータセットも公開します。

ScreenAI

ScreenAIのアーキテクチャは、マルチモーダルエンコーダブロックと自己回帰デコーダで構成される PaLI に基づいています。PaLIエンコーダは、画像埋め込みを作成する Vision Transformer （ViT）と、画像とテキストの埋め込みの連結を入力として受け取るマルチモーダルエンコーダを使用します。この柔軟なアーキテクチャにより、ScreenAIは、テキスト+画像からテキストへの問題として再構成可能な視覚タスクを解決することができます。

PaLIアーキテクチャの上に、pix2structで導入された柔軟なパッチング戦略を採用しています。固定グリッドパターンを使用する代わりに、入力画像の元のアスペクト比を維持するようにグリッド寸法が選択されます。これにより、ScreenAIは様々なアスペクト比の画像でうまく機能することができます。

ScreenAIモデルは、事前学習段階とその後に行われるファインチューニング段階の2段階でトレーニングされます。まず、自己教師あり学習を適用してデータラベルを自動生成し、それらを使用してViTと言語モデルをトレーニングします。ViTはファインチューニング段階では凍結され、この段階で使用されるデータのほとんどは人間の評価者によって手動でラベル付けされています。

<img border="0" data-original-height="583" data-origin

ScreenAI：UIと視覚的状況言語理解のための視覚言語モデル

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト