AI エージェントクローラーには許可が必要に。取得方法とは
Cloudflare は 9 月 15 日より、広告掲載ページにおける AI エージェントクローラーのデフォルトブロックを開始し、開発者に明示的な許可取得を義務付ける新たな規制枠組みを導入した。
キーポイント
AI クローラーのカテゴリ分類とデフォルト変更
Cloudflare は AI ボットを「検索（Search）」「エージェント（Agent）」「トレーニング（Training）」の 3 つに分類し、9 月 15 日以降、広告掲載ページでは「エージェント」と「トレーニング」用途がデフォルトでブロックされるようになった。
広告ありページの保護とビジネスロジック
Cloudflare は広告が存在するページは人間向けに設計されたものだとみなし、検索クローラー（リファラル機能）は許可しつつ、回答を生成して他者に渡すエージェントやモデル学習用のクローラーはブロックする方針を示した。
Googlebot への波及効果と業界への圧力
検索とトレーニングの両方を行う Googlebot は、トレーニングをブロックすると同時に検索も停止されるリスクがあり、Cloudflare はこれを「混合使用クローラーの分離」を促すための意図的な圧力として位置づけている。
開発者への対応義務とリスク
エージェント運用者はセキュリティ設定からオプトアウトする必要があるが、許可がない場合、法的訴訟よりも「沈黙」や不完全な回答という実務上の失敗モードに直面し、カバレッジの低下が避けられない。
アクセス制御とコストの転換
ブロックではなく交渉によるアクセス獲得が求められており、検索結果への掲載やエージェント訪問に対して出版者に支払う「使用量課金」モデルへ移行しつつある。
トレーニング禁止のリスク
9月15日以降に無料枠のデフォルトが変更されるため、AI 学習（Training）をブロックすると Googlebot も排除され、検索可視性が失われるリスクがある。
分類定義の曖昧さ
「検索」「エージェント」「トレーニング」という分類は AI企業が自己申告するものであり、学習データを「トレーニング」に分類したくない企業に対する規制手段が明記されていない。
重要な引用
Cloudflare has replaced its single block-AI-bots switch with three categories.
From September 15, the defaults change. Training and Agent will be blocked on pages that display ads, while Search will stay allowed.
The failure mode for an enterprise agent is not a lawsuit. It is silence, or an answer built from whatever it could still reach.
Negotiated access, not a rewritten user-agent string, is the way through.
Access to the open web has been free and unlimited for thirty years, and the bill is now itemised.
影響分析・編集コメントを表示
影響分析
この変更は、AI エージェントがオープンウェブ上の情報（特にニュースや価格比較など広告依存のコンテンツ）にアクセスする際の法的・技術的障壁を劇的に高めるものであり、開発者は従来の「オープンなウェブ」への依存から脱却し、明示的なデータ許諾プロセスを構築せざるを得なくなる。業界全体として、AI トレーニングデータの収集やリアルタイムエージェントの実装コストが増大し、データソースの選定基準が根本から再定義される転換点となる。
編集コメント
AI エージェントの実装において、単なる技術的な接続性だけでなく、データ利用の法的許諾とプラットフォーム側のポリシー遵守が最重要課題として浮上しました。開発者は今すぐ自社のエージェント設定を見直し、広告サイトへのアクセス権限を再確認する必要があります。
9月15日以降、AI エージェントクローラーは、ウェブ上の特定の領域においてデフォルトでブロックされるようになります。これは、回答を待つ人間の代わりにリアルタイムでページを取得するボットのことです。
Cloudflare は7月1日にこの変更を発表しましたが、その後の報道の多くはGoogleに焦点が当てられていました。しかし、より重要なのは、エージェントを構築するすべての開発者に対して Cloudflare が何を求めているか、そしてそれに対する報酬として何を提供しているかという点です。
Cloudflare は、AI ボットを単一のスイッチでブロックしていた仕組みから、3 つのカテゴリに分ける方式へと移行しました。「Search」は、後で質問に答えるためにページをインデックス化するボットを対象とします。「Agent」は、ChatGPT の取得ボットやブラウザ操作型エージェントなど、ユーザーの代わりにリアルタイムで動作する自動化システムを指します。そして「Training」は、コンテンツをモデルの重み（ウェイト）として取り込むクローラーです。これらの制御機能は7月1日、無料プランを含むすべての顧客向けに稼働を開始しました。
9月15日以降、デフォルト設定が変更されます。広告を表示するページでは、「Training」と「Agent」がブロックされ、「Search」のみが許可されるようになります。この新しいデフォルトは、Cloudflare への新規ドメイン登録者、既存顧客が新たに作成したサイト、そしてすべての無料プラン顧客に適用されます。
もしこれらの制限を望まない場合は、期日までにセキュリティ設定からオプトアウト（除外）手続きを行うことができます。
Cloudflare の考え方はこうです。広告が表示されていることは、そのページが人間のために作られたものである証拠となります。検索クローラーは読者を元のページへ誘導する「紹介」の役割を果たしますが、ページを読んで内容を取得し、第三者に回答を渡すボットには該当しません。
AI エージェントクローラーが直面する新たな状況
エージェント型アプリケーションの展開は、オープンウェブが常に開放されているという前提の上に成り立ってきました。研究用エージェントが競合他社の価格ページを取得したり、監視ツールがサプライヤーの発表を確認したり、カスタマーサービスエージェントがメーカーの仕様書を引き出したりするケースです。これらにはライセンスは不要で、これまでその必要性もありませんでした。
Cloudflare は世界のウェブトラフィックの大きなシェアを担っており、そのブロック機能は robots.txt のような提案ではなく、ネットワークレベルで動作します。広告収入に依存するページこそが、エージェントが最も欲しがる対象です。なぜなら、ニュースやレビュー、価格情報、製品解説といったコンテンツがそこに集約されているからです。企業向けエージェントにおける最大のリスクは訴訟ではありません。それは「沈黙」、あるいは到達可能な範囲の断片だけに基づいて構築された不完全な回答です。
ここには Google 特有の複雑さがあります。Googlebot は検索用と学習用を一つのボットで処理するため、最も厳しいルールに従えば、「学習」をブロックするサイトは結果的に Googlebot 全体をブロックすることになります。Cloudflare の CEO マシュー・プリンス氏は、今回の変更が「混合用途のクローラーに対して、検索とエージェント利用・学習を分離することを促す」と期待していると述べていますが、これは圧力をかけることが目的であることを婉曲的に表現したに過ぎません。
AI エージェント用クローラーへの許可取得方法
エージェントを運用する際は、まず自社の Cloudflare アカウントのうち、どのアカウントが「エージェントクラス」として認識されるかを明確にする必要があります。この分類はオプトイン（選択）ではなく行動ベースで行われるため、リアルタイムで閲覧を行う研究用エージェントは、運営者がそれをクローラーと認識しているかどうかに関わらず検知されます。
ブロックされたとしても、完全な遮断ではなく「部分的なカバレッジ低下」になる可能性が高いです。これは、ブロック対象が広告依存ページに限定され、それ以外のページは依然としてアクセス可能だからです。真の解決策は、ユーザーエージェント文字列を書き換えることではなく、双方で合意したアクセス権限を確立することにあります。
出版側には、別の検討事項があります。まず自社の利用プランを確認してください。既存の無料プラン利用者は、9 月 15 日に自動的に新しいデフォルト設定へ移行されるためです。この重要な点は、多くの報道で見過ごされています。次に、「学習（Training）」機能のブロックが、そのコストに見合う価値があるか判断する必要があります。なぜなら、これをブロックすると Googlebot のアクセスも失われ、結果として検索での可視性まで低下してしまうからです。
注目すべきメカニズムは「金銭」です。「クロール課金（Pay Per Crawl）」から「利用課金（Pay Per Use）」へと移行しつつあります。Ceramic.ai は AI 検索結果に自社のコンテンツが表示された際に出版元に支払いを行い、You.com はエージェントがプレミアムコンテンツに到達した際に支払います。Cloudflare の試算では、AI クローラーのトラフィックの半数以上が、変更されていないページの再取得に使われているそうです。つまり、双方に無駄があり、それを価格設定で解決する余地があるのです。
これはコンテンツをめぐる争いの第一ラウンドです。提示されている答えは壁を築くことではなく、利用料率（レート）を設定することにあります。
一方で、この分類体系自体にも弱点があります。「検索」「エージェント」「学習」といった行動は、AI 企業が自社のボットについて宣言するものです。もしある企業が、自社のトレーニングプロセスが「学習」として分類されることを望まない場合、それを回避しようとする明確なインセンティブが存在します。しかし、今回の発表では、それを防止する仕組みについては一切説明されていません。
ウェブへのアクセスは過去 30 年間、自由かつ無制限でした。しかし今、その代償が請求書として提示されています。
9 月までにアクセス権の整理を済ませた AI エージェント開発者には、解決可能な課題が残るだけです。一方、403（アクセス禁止）エラーで初めて事態に気づく人々は、慌ててシステムを再構築することになるでしょう。
関連記事：Visa と ChatGPT の統合により、AI エージェントが小売購入を実現可能に
業界のリーダーから AI やビッグデータについてさらに学びたい方へ。アムステルダム、カリフォルニア、ロンドンで開催される「AI & Big Data Expo」にご参加ください。TechEx の一部として開催されるこの包括的なイベントは、サイバーセキュリティとクラウドに関する主要な展示会とも同時開催されます。詳細はこちらをご覧ください。
本ニュースは TechForge Media によって提供されています。その他の企業向け技術イベントやウェビナー情報はこちらからご確認ください。
この記事「AI エージェントクローラーには今や許可が必要。その取得方法」は、元々 AI News で公開されたものです。
原文を表示
AI agent crawlers, the bots that fetch pages in real time on behalf of a person waiting for an answer, will be blocked by default on a slice of the web from September 15 onwards. Cloudflare announced the change on July 1, and most of the coverage since then has focused on Google. The more useful part is what it asks of everyone building agents, and what it offers them in return.
Cloudflare has replaced its single block-AI-bots switch with three categories. Search covers bots that index a page to answer questions about it later. Agent covers automated systems acting in real time for a user, including ChatGPT’s fetch bot and browser-driving agents. Training covers crawlers that pull content into a model’s weights. The controls went live on July 1 for every customer, including the free tier.
From September 15, the defaults change. Training and Agent will be blocked on pages that display ads, while Search will stay allowed. The new defaults apply to domains newly onboarding to Cloudflare, new sites set up by existing customers, and all existing free-tier customers.
Anyone who does not want them can opt out through their security settings before the date.
Cloudflare’s logic is that an advertisement is evidence that a page was built for a human to land on. A search crawler that sends a reader back is a referral. A bot that reads the page and hands the answer to someone else is not.
What AI agent crawlers run into now
Agentic deployments have been built on the assumption that the open web stays open. A research agent fetches a competitor’s pricing page. A monitoring tool checks a supplier’s announcements. A customer-service agent pulls a manufacturer’s specification sheet. None of this involves a licence, and until now, none of it needed one.
Cloudflare sits in front of a large share of the world’s web traffic, and its blocks operate at the network level rather than as a robots.txt suggestion a crawler can ignore. Ad-supported pages are exactly the pages agents want, because that is where news, reviews, pricing and product coverage live. The failure mode for an enterprise agent is not a lawsuit. It is silence, or an answer built from whatever it could still reach.
There is a Google-shaped complication. Googlebot crawls for both search and training in a single bot, so under the most restrictive rule, a site that blocks Training also blocks Googlebot. Cloudflare CEO Matthew Prince said the company hopes the changes will “encourage mixed-use crawlers to separate search from agent use and training”, which is a polite way of saying the pressure is the point.
Getting permission for AI agent crawlers
Anyone running agents should start by working out which of their Cloudflare accounts will read as Agent-class. The classification is behavioural rather than something you opt into, so a research agent that browses in real time is caught whether or not its operator thinks of it as a crawler.
Expect degraded coverage rather than a clean failure, because the block lands on ad-supported pages and leaves the rest reachable. Negotiated access, not a rewritten user-agent string, is the way through.
Publishers have a different homework list. Check your tier first, since existing free-tier customers are moved to the new defaults automatically on September 15, a detail most coverage skipped. Then decide whether blocking Training is worth what it costs, because it takes Googlebot with it and your search visibility along with it.
The mechanism worth watching is the money. Pay Per Crawl is becoming Pay Per Use, with Ceramic.ai paying publishers when their content appears in AI search results, and You.com paying when an agent reaches premium content. Cloudflare says more than half of AI crawler traffic is spent re-fetching pages that have not changed, so there is waste on both sides worth pricing out.
This is the first round of the content fight, where the answer on offer is a rate rather than a wall.
One weakness lies in the taxonomy itself. Search, Agent and Training are behaviours the AI companies declare about their own bots, and a firm that would rather not have its training run classified as training has an obvious incentive. The announcement does not explain what stops it.
Access to the open web has been free and unlimited for thirty years, and the bill is now itemised. Agent builders who sort out their access before September have a workable problem. The ones who find out from a 403 will be rebuilding on the fly.
See also: Visa ChatGPT integration enables AI agent retail purchasing
Want to learn more about AI and big data from industry leaders? Check out AI & Big Data Expo taking place in Amsterdam, California, and London. The comprehensive event is part of TechEx and is co-located with other leading technology events including the Cyber Security & Cloud Expo. Click here for more information.
AI News is powered by TechForge Media. Explore other upcoming enterprise technology events and webinars here.
The post AI agent crawlers now need permission. Here’s how to get it appeared first on AI News.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み