ブラウザエージェントに必要なのはモデルより視覚能力

ブラウザエージェントの壁は「モデルの知能」ではなく「情報の伝え方」だった

現在のブラウザエージェントが複雑なタスクで失敗する原因は、AI モデル自体の知能不足にあるわけではありません。むしろ、ウェブページをどう入力情報として渡すかというインフラ側の非効率さがボトルネックとなっています。

この動画では、従来のスクリーンショットや膨大な DOM 構造に代わり、ウェブページを圧縮した Markdown 形式でエージェントに提供することで、安価なモデルでも高速かつ正確に長期的なタスクを遂行できる新しいアプローチが紹介されています。

現状のボトルネック：クリック一つに数十秒かかる非効率さ

ブラウザエージェントは「理想としては素晴らしい」はずなのに、なぜ普及しないのか。その理由を解明するために、著者は実際のベンチマークを分析しています。

「スタートボタンをクリックするだけで 10〜20 秒かかり、全 30 ステップのタスクでさえ、ボタン一つ押すのにこれほど時間がかかる。」

従来の手法では、エージェントは画面のスクリーンショットや、約 20,000 トークンに及ぶフル DOM（Document Object Model）構造を入力として受け取ります。しかし、この情報は多すぎて非効率です。

「エージェントは何が起きているかをデバッグしようとしていますが、クリックしようとしている対象を特定できず、混乱しています。」

スクリーンショットでは特定の断片しか見えず、DOM は膨大すぎて全体像を把握できません。その結果、モデルは「どこをクリックすればいいか」の判断に時間を費やし、長いシーケンスを計画するどころか、単純な操作でさえ失敗してしまいます。

解決策：1,800 トークンでページ全体を把握できる「圧縮 Markdown」

著者が提唱するのは、ウェブページを人間が読みやすい形式である Markdown に変換し、エージェントに渡すという手法です。このアプローチの核心は、「視覚能力」と「情報の圧縮」にあります。

• フル DOM（約 20,000 トークン）：構造情報が膨大すぎてノイズが多い。
• スクリーンショット（約 1,100 トークン）：特定の断片しか見えず、文脈が欠落する。
• 圧縮 Markdown（約 1,800 トークン）：ウェブページ全体を瞬時に把握できる最適な表現。

この圧縮された Markdown は、ページの構造や要素の役割を明確に示しつつ、トークン数を劇的に削減します。これにより、モデルは「今どこをクリックすべきか」を即座に判断でき、長いタスクシーケンスを計画する余裕が生まれます。

さらに、フィードバックループも強化されています。「新しく表示された要素」「クリックしようとしたが邪魔だった要素が削除された」といった文脈情報を統合することで、エージェントはページ全体の変化を追跡し、失敗の原因を特定して修正することが可能になります。

実証された成果：安価なモデルでも「不可能」を「数秒」で成し遂げる

この手法の有効性は、実際のタスク実行において明確に証明されています。著者は、従来の手法では失敗する複雑なタスクを、安価なモデルを用いて数秒で完了させることに成功しています。

1. Aadhaar（インドの住民ID）のダウンロード

• 従来: Claude が試みた場合、ボタンをクリックした後、46 秒から動画終了までスクリーンショットの取得とスクロールを繰り返すループに陥り、2 分近くかかって失敗しました。
• 新手法: 起動して数秒で完了。モデルが全体像を把握したため、迷うことなくボタンを特定しクリックできました。

2. カナダのトレッキング予約サイト

• 従来: サイトがカナダ語圏にあるにもかかわらず、エージェントは言語の壁や複雑な UI に戸惑い、日付選択で止まってしまいました。
• 新手法: Markdown による明確な構造提示により、エージェントは迷うことなく適切な日付を選択し、予約を完了させました。

「理論上は非常にシンプルで使いやすい。安価なモデルを使用しながらも、従来の手法では失敗するタスクを数秒で完了させることができました。」

今後の展望：オープンソース化と API による普及

この技術の最大の価値は、高価な大規模言語モデル（LLM）への依存を減らし、コスト効率の高い実用的な AI エージェント開発を可能にした点にあります。特にリソース制約のある環境やエンタープライズ向けに、ブラウザ操作の自動化を現実的なものにするブレークスルーです。

著者は今後はこの技術をオープンソース化し、以下の形で提供することを計画しています。

• API としての公開: URL とタスクの意図を入力するだけで、実行結果を返すサービス。
• プラグイン・ブラウザ拡張: ウェブサイト上で直接動作するツールとして実装。

「世界中の人々がこれを使い、あなたのために多くのことができるようになる。誰もが利用できるようになればと思います。」

モデルの知能を追求するだけでなく、「いかにして情報を効率よく伝えるか」という視点を変えることで、ブラウザエージェントは次の段階へと進化します。