AI エージェントクローラーには許可が必要に。取得方法とは

9月15日以降、AI エージェントクローラーは、ウェブ上の特定の領域においてデフォルトでブロックされるようになります。これは、回答を待つ人間の代わりにリアルタイムでページを取得するボットのことです。

Cloudflare は7月1日にこの変更を発表しましたが、その後の報道の多くはGoogleに焦点が当てられていました。しかし、より重要なのは、エージェントを構築するすべての開発者に対して Cloudflare が何を求めているか、そしてそれに対する報酬として何を提供しているかという点です。

Cloudflare は、AI ボットを単一のスイッチでブロックしていた仕組みから、3 つのカテゴリに分ける方式へと移行しました。「Search」は、後で質問に答えるためにページをインデックス化するボットを対象とします。「Agent」は、ChatGPT の取得ボットやブラウザ操作型エージェントなど、ユーザーの代わりにリアルタイムで動作する自動化システムを指します。そして「Training」は、コンテンツをモデルの重み（ウェイト）として取り込むクローラーです。これらの制御機能は7月1日、無料プランを含むすべての顧客向けに稼働を開始しました。

9月15日以降、デフォルト設定が変更されます。広告を表示するページでは、「Training」と「Agent」がブロックされ、「Search」のみが許可されるようになります。この新しいデフォルトは、Cloudflare への新規ドメイン登録者、既存顧客が新たに作成したサイト、そしてすべての無料プラン顧客に適用されます。

もしこれらの制限を望まない場合は、期日までにセキュリティ設定からオプトアウト（除外）手続きを行うことができます。

Cloudflare の考え方はこうです。広告が表示されていることは、そのページが人間のために作られたものである証拠となります。検索クローラーは読者を元のページへ誘導する「紹介」の役割を果たしますが、ページを読んで内容を取得し、第三者に回答を渡すボットには該当しません。

AI エージェントクローラーが直面する新たな状況

エージェント型アプリケーションの展開は、オープンウェブが常に開放されているという前提の上に成り立ってきました。研究用エージェントが競合他社の価格ページを取得したり、監視ツールがサプライヤーの発表を確認したり、カスタマーサービスエージェントがメーカーの仕様書を引き出したりするケースです。これらにはライセンスは不要で、これまでその必要性もありませんでした。

Cloudflare は世界のウェブトラフィックの大きなシェアを担っており、そのブロック機能は robots.txt のような提案ではなく、ネットワークレベルで動作します。広告収入に依存するページこそが、エージェントが最も欲しがる対象です。なぜなら、ニュースやレビュー、価格情報、製品解説といったコンテンツがそこに集約されているからです。企業向けエージェントにおける最大のリスクは訴訟ではありません。それは「沈黙」、あるいは到達可能な範囲の断片だけに基づいて構築された不完全な回答です。

ここには Google 特有の複雑さがあります。Googlebot は検索用と学習用を一つのボットで処理するため、最も厳しいルールに従えば、「学習」をブロックするサイトは結果的に Googlebot 全体をブロックすることになります。Cloudflare の CEO マシュー・プリンス氏は、今回の変更が「混合用途のクローラーに対して、検索とエージェント利用・学習を分離することを促す」と期待していると述べていますが、これは圧力をかけることが目的であることを婉曲的に表現したに過ぎません。

AI エージェント用クローラーへの許可取得方法

エージェントを運用する際は、まず自社の Cloudflare アカウントのうち、どのアカウントが「エージェントクラス」として認識されるかを明確にする必要があります。この分類はオプトイン（選択）ではなく行動ベースで行われるため、リアルタイムで閲覧を行う研究用エージェントは、運営者がそれをクローラーと認識しているかどうかに関わらず検知されます。

ブロックされたとしても、完全な遮断ではなく「部分的なカバレッジ低下」になる可能性が高いです。これは、ブロック対象が広告依存ページに限定され、それ以外のページは依然としてアクセス可能だからです。真の解決策は、ユーザーエージェント文字列を書き換えることではなく、双方で合意したアクセス権限を確立することにあります。

出版側には、別の検討事項があります。まず自社の利用プランを確認してください。既存の無料プラン利用者は、9 月 15 日に自動的に新しいデフォルト設定へ移行されるためです。この重要な点は、多くの報道で見過ごされています。次に、「学習（Training）」機能のブロックが、そのコストに見合う価値があるか判断する必要があります。なぜなら、これをブロックすると Googlebot のアクセスも失われ、結果として検索での可視性まで低下してしまうからです。

注目すべきメカニズムは「金銭」です。「クロール課金（Pay Per Crawl）」から「利用課金（Pay Per Use）」へと移行しつつあります。Ceramic.ai は AI 検索結果に自社のコンテンツが表示された際に出版元に支払いを行い、You.com はエージェントがプレミアムコンテンツに到達した際に支払います。Cloudflare の試算では、AI クローラーのトラフィックの半数以上が、変更されていないページの再取得に使われているそうです。つまり、双方に無駄があり、それを価格設定で解決する余地があるのです。

これはコンテンツをめぐる争いの第一ラウンドです。提示されている答えは壁を築くことではなく、利用料率（レート）を設定することにあります。

一方で、この分類体系自体にも弱点があります。「検索」「エージェント」「学習」といった行動は、AI 企業が自社のボットについて宣言するものです。もしある企業が、自社のトレーニングプロセスが「学習」として分類されることを望まない場合、それを回避しようとする明確なインセンティブが存在します。しかし、今回の発表では、それを防止する仕組みについては一切説明されていません。

ウェブへのアクセスは過去 30 年間、自由かつ無制限でした。しかし今、その代償が請求書として提示されています。

9 月までにアクセス権の整理を済ませた AI エージェント開発者には、解決可能な課題が残るだけです。一方、403（アクセス禁止）エラーで初めて事態に気づく人々は、慌ててシステムを再構築することになるでしょう。

関連記事：Visa と ChatGPT の統合により、AI エージェントが小売購入を実現可能に

本ニュースは TechForge Media によって提供されています。その他の企業向け技術イベントやウェビナー情報はこちらからご確認ください。

この記事「AI エージェントクローラーには今や許可が必要。その取得方法」は、元々 AI News で公開されたものです。