アリババのページエージェント：DOM を介して自然言語で Web インターフェースを制御する JavaScript 内蔵 GUI エージェント

アリババが公開したオープンソースプロジェクト「Page Agent」は、外部プロセスではなくウェブページ内に JavaScript として埋め込まれ、スクリーンショットや多モーダルモデルを使わずに DOM を直接読み取って自然言語で Web インターフェースを操作する技術です。