真にオープンな基盤上でアクセシビリティツールを構築する
Allen AI は、キーボードユーザーの視点でウェブページをナビゲートし、実際の画面内容を検証する「PointCheck」という独立プロジェクトを通じて、Molmo や Olmo 3 などのオープンソースモデルを活用したウェブアクセシビリティツールの構築事例を発表しました。
キーポイント
キーボードユーザー視点のテスト手法
PointCheck は、視覚的な解析ではなく、実際のキーボード操作でページをナビゲートし、スクリーンリーダーが読み上げる内容を検証するアプローチを採用しています。
オープンソースモデルの活用
このプロジェクトは Allen AI が開発した Molmo, MolmoWeb, Olmo 3 といったオープンソースの基盤モデルを駆使して、ウェブアクセシビリティのテストを実行しています。
実世界での検証による精度向上
実際の画面に表示されているコンテンツを直接検査することで、理論的な解析では見逃されがちなアクセシビリティ課題を発見可能にしています。
重要な引用
uses Molmo, MolmoWeb, and Olmo 3 to test web accessibility the way a keyboard user would
navigating real pages and inspecting what's actually on screen
影響分析・編集コメントを表示
影響分析
この事例は、オープンソース AI モデルが単なる研究段階を超え、社会的インフラの改善（アクセシビリティ）という具体的な課題解決に即座に貢献できることを示しています。特に「キーボード操作」や「実際の画面表示」という実用的な観点を取り入れたテスト手法は、既存の自動化ツールではカバーしきれない盲点を解消する有望なアプローチであり、ウェブ開発現場における AI 活用の新たな基準となる可能性があります。
編集コメント
アクセシビリティ分野における「オープンソースモデルの実用化」の好例であり、技術が社会課題解決に直結する具体的なケーススタディとして注目すべき内容です。
2026 年 5 月 21 日
Ai2
ブレンダン・ワークスはシアトルに拠点を置く技術製品およびプログラムマネージャーで、障害を持つ人々が仕事や学校、医療機関への通院を支援するパラトランジットサービスに注力しています。彼は、最も依存している人々に対してデジタルツールがどのように失敗するかを間近で見てきました。
「予約ツールが使えなかったり、スクリーンリーダーがスケジュールページをナビゲートできなかったりする場合、それは単なる不便さではありません」とワークスは言います。「それは誰かが友人に会ったり、授業を受けたりする機会から切り離してしまうことなのです」
彼が説明している多くのユーザーは、オンライン上で支援技術（Assistive Technology）を利用しています。視力が低い人はブラウザのズーム機能やハイコントラストモードを使用します。運動機能に障害がある人はキーボードだけで完全にナビゲートし、Tab キーを押してインタラクティブな要素間を移動させます。
これらの人々を意識してサイトが構築されていない場合、ツールは機能を果たせなくなります。これを防ぐためのソフトウェアは存在しますが、そのほとんどには根本的な限界があります。つまり、それらは基盤となるコードのみを検査し、発見された内容を標準的なアクセシビリティガイドラインと比較するだけなのです。問題は、ガイドラインに準拠したコードであっても、実際には使い物にならないページを生成してしまう可能性があることです。
ワークスはそうしたケースも検出できるツールを望んでいました。そして自分の時間を使って、PointCheck という Web アプリを作成しました。このアプリは Molmo、MolmoWeb、および Olmo 3 を連携させ、HTML に含まれる内容だけでなく、画面にレンダリングされた内容を基盤としてウェブアクセシビリティを評価します。
アクセシビリティのための視覚チェックツール
知覚的なギャップを埋めるために、Works は二つのものが必要だと知っていました：キーボードユーザーと同じようにブラウザを実行する方法と、結果として得られる画面をピクセルレベルの詳細で検査する方法です。彼はこれら両方をオープンなフレームワークとモデルで見つけ出しました。
PointCheck は、ターゲットページを背景の Chromium ウィンドウで読み込むオープンなブラウザ自動化ツールである Playwright を基盤として構築されています。Works が作成したスクリプトは、要素からタブキーで移動できなくなる一般的なキーボードの問題、壊れたリンクのパターン、インタラクティブであってはならない要素に設定されたクリックハンドラー、およびページの自然な読書順序を無効にするタブ順序値について事前にスキャンを行います。
PointCheck はユーザーと同じようにウェブページをタブで移動し、各ステップごとにスクリーンショットを取得します。最初のパスでは、Works は MolmoWeb を選択しました。これはウェブページ上の視覚的なポイント指定のために特別に設計されたモデルだからです。各スクリーンショットは、「現在キーボードフォーカスを持っている要素を見つけよ」というプロンプトとともにモデルに送られ、MolmoWeb はその位置をピクセル座標として返します。その後、PointCheck は同じ領域を Molmo に送信し、画面に表示されているもの（フォーカスリングが実際に視覚的に表示されているかどうかを含む）について直接的な問い合わせを行います。その結果、PointCheck はフォーカスインジケーターがスタイルシート内のどこかに定義されているだけでなく、実際に画面上に視覚的に存在することを確認できます。
真にオープンな基盤の上にアクセシビリティツールを構築する（続き 2/5）
フォーカスインジケーターは、キーボードの Tab キーでボタンやリンクに移動した際にその周囲に表示される視覚的なハイライト（通常は色付きのリングまたはアウトライン）です。これはキーボードのみで操作するユーザーがページ上で自分の位置を把握するための手段であり、カーソルが動く様子を確認するのと同等の効果があります。フォーカスインジケーターは、すべての自動コードチェックに合格していても、背景に対して完全に視認できない場合があります。キーボードのみでナビゲーションを行う数百万人にとって、このハイライトがあるかないかは、「今すぐ購入」ボタンにいることを認識できるか、誤って「キャンセル」ボタンを押してしまうかの違いを意味します。
PointCheck では、キーボードナビゲーションとフォーカスの可視性は、内部で2 つの別々のテストとして実行され、それぞれ異なる欠陥を検出します。また、ズーム機能（最も一般的なタイプの色覚異常である二重盲症に特化したシミュレーション）を 200% で行うテストや、コントラストチェック、無効なデータによるフォーム送信、ページマークアップの構造的分析も組み込まれています。
PointCheck のすべてのテストモジュールが完了すると、Olmo 3 が発見事項について平易な英語で要約を作成します。Works 社が Olmo を選んだのは、レポートがアクセシビリティ専門家のみに有用であればよいのではなく、プロダクトマネージャーやデザイナーにも実用的である必要があると考えたからです。そして、Olmo 3 は平易な言語での要約合成において十分な能力を備えていました。
透明性の重要性
Works 社は PointCheck のために独自開発のビジョン API やテキスト API を検討しましたが、最終的には採用しないことにしました。
"PointCheck の本質は、完全に自己ホスト可能であるべきだということだ」と彼は言う。「自分のページのスクリーンショットを第三者に送ってアクセシビリティの判定を得る必要はない。Molmo や Olmo を使えば、重み（weights）を取得して自社のインフラ上で実行し、環境外へデータが流出することもない。」
Works は PointCheck の最初のバージョンをたった 1 週末で構築した。Playwright を使ってページをタブで移動させ、スクリーンショットをキャプチャする部分は比較的簡単だった。より難しかったのは、VRAM（ビデオメモリ）不足を起こさずに 3 つのモデルを単一の A10G GPU に収め込むことと、推論コードにおけるエッジケースの互換性問題を解決することだった。
「だが、核となるコンセプトはすぐに機能し始めた。それが私を前進させた」と Works は語る。「私は本質的にプロダクト志向だ。物事を完成させ、プロトタイプを超えたいと思う。だからドメインを取得し、DNS を切り替え、基本的な分析ツールを設定し、ロゴも作成した。」
初期の反応は、アクセシビリティ業務を専門に行ってきた人々から寄せられた。ワシントン州社会保健サービス局でアクセシビリティに注力していた元同僚が Works にこう伝えた。「このツールが存在することを 2 年間待ち望んでいた。モニターを消してキーボードだけで操作する方が上だが、それをスケーラブルにするのは難しい。」
その目的のために、Works は PointCheck を既存のツールの代替ではなく補完として捉えている。コードベースの検査では決して到達できない領域をカバーするためだ。
「私が興味を持っているのは、人間による検証しかできない supposedly の領域をさらに押し広げることです」とワークスは語ります。「私が話しているのは知覚的な部分、つまりページを実際に目で見なければならないような事柄のことです。」
PointCheck は、オープンソースモデルとツールが可能にするプロジェクトの類型を示す素晴らしい例です。私たちは、最も変革的なアプリケーションは往々にして私たちが予測しないものだと信じているため、重み（weights）、トレーニングデータ、コードを公開しています。グローバル・アクセシビリティ・アウェアネス・デーにおいて、誰もがよりナビゲートしやすいオープンウェブを実現する取り組みに貢献できたことを誇りに思います。
*PointCheck はブレンダン・ワークスによる独立したプロジェクトであり、彼の雇用主や Ai2 とは関係ありません。ワークスは個人の立場で発言しています。
最新の Ai2 のニュースに関する月次アップデートを受け取るには、購読してください。
原文を表示
May 21, 2026
Ai2
Brendan Works is a technical product and program manager in Seattle, focused on the paratransit services that help people with disabilities get to jobs, school, and medical appointments. He's seen up close how often digital tools fail those who most depend on them.
"When a booking tool is unusable or a screen reader can't navigate a schedule page, it's not simply an inconvenience," Works says. "It cuts someone off from getting to see their friends or getting to class."
Many of the users he's describing rely on assistive technology online. A person who has low vision might use browser zoom or high-contrast modes. Someone with a motor impairment might navigate entirely by keyboard, pressing Tab to move from one interactive element to the next.
When a site isn't built with these people in mind, the tools break down. Software exists to prevent this, but most of it has a fundamental limitation—it only inspects the underlying code and compares what it finds against standard accessibility guidelines. The trouble is that compliant code can still produce an unusable page.
Works wanted a tool that could catch those cases. On his own time, he created PointCheck, a web app that wires Molmo, MolmoWeb, and Olmo 3 together to evaluate web accessibility by what's rendered on screen—not just what's in the HTML.
A visual checker for accessibility
To close the perceptual gap, Works knew he needed two things: a way to drive a real browser the way a keyboard user would, and a way to inspect the resulting screen in pixel-level detail. He found both in open frameworks and models.
PointCheck is built on top of Playwright, an open browser automation tool that loads a target page in a background Chromium window. A script Works wrote pre-scans for common keyboard problems that prevent users from tabbing away from an element, broken link patterns, click handlers on elements that shouldn't be interactive, and tab-order values that override the natural reading sequence of the page.
PointCheck tabs through a webpage the way a user would, taking a screenshot at every step. For the first pass, Works chose MolmoWeb because it's purpose-built for visual pointing on web pages—each screenshot goes to the model with the prompt, "Find the element that currently has keyboard focus," and MolmoWeb returns its location as a pixel coordinate. PointCheck then sends the same region to Molmo with a direct query about what's on screen, including whether a focus ring is actually visible. The result is that PointCheck can confirm focus indicators are visually present on screen–not just defined somewhere in a stylesheet.
Focus indicators are the visual highlight – usually a colored ring or outline – that appears around a button or link when a person tabs to it. They're how keyboard-only users orient themselves on a page—the equivalent of seeing your cursor move. A focus indicator can pass every automated code check while being completely invisible against the background it's rendered on. For the millions who navigate by keyboard alone, that highlight is the difference between knowing you're on a "Buy Now" button and accidentally hitting "Cancel."
In PointCheck, keyboard navigation and focus visibility run as two separate tests under the hood, evaluating for different flaws. Works also built in zoom testing at 200% (a color-blindness simulation specifically for deuteranopia, the most common form) with contrast checks, form submission with invalid data, and a structural analysis of the page's markup.
When all of PointCheck’s test modules finish, Olmo 3 writes a plain-English summary of the findings. Works chose Olmo because the reports needed to be useful to a product manager or a designer, not just an accessibility specialist—and Olmo 3 was strong enough at plain-language synthesis to do that.
The importance of transparency
Works considered proprietary vision and text APIs for PointCheck, but decided against them.
"The whole point of PointCheck is that it should be fully self-hostable," he says. "You shouldn't have to send screenshots of your own pages to [a third party] to get an accessibility verdict. With Molmo and Olmo, you grab the weights, run it on your own infrastructure, and nothing leaves your environment."
Works built the first version of PointCheck in a single weekend. Getting Playwright to tab through pages and capture screenshots was straightforward. The harder parts were fitting three models onto a single A10G GPU without running out of VRAM and working through edge compatibility issues in the inference code.
"But the core concept worked quickly, which kept me going," Works says. "I'm a product person at heart. I like to finish things, get beyond a prototype. So I grabbed a domain, flipped the DNS, set up basic analytics, and made a logo."
Early reactions have come from people who've done accessibility work professionally. A former colleague focused on accessibility at Washington State's Department of Social and Health Services told Works, "I spent two years wishing this existed. Nothing beats turning off your monitor and navigating by keyboard, but that’s hard to scale."
To that end, Works sees PointCheck as a complement to existing tools, not a replacement—covering the ground that code-based inspection will never reach.
"What interests me is pushing further into the territory that's supposedly only coverable by human validation,” Works says. “I'm talking about the perceptual stuff, the things that require actually seeing the page."
Point check is a great example of the type of project that open-source models and tooling enable—we release weights, training data, and code because we believe the most transformative applications are often the ones we don't anticipate. On Global Accessibility Awareness Day, we're proud to have played a part in an effort to make the open web more navigable for everyone.
*PointCheck is an independent project by Brendan Works and is not affiliated with his employer or Ai2. Works speaks in his personal capacity.*
Subscribe to receive monthly updates about the latest Ai2 news.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み