Cloudflare の新方針が AI 企業に出版者のコンテンツ利用料の支払いを義務付け

Cloudflare は先ほど、AI 業界に対し、Google Search のような従来の検索目的に使用されるウェブクローラーと、AI エージェントやトレーニングに使用されるクローラーを分離するための新たな期限を提示しました。同社は水曜日に、2026 年 9 月 15 日より、広告を表示するページに対してデフォルト設定で「混合用途」のクローラー（mixed-use crawlers）をブロックすると発表しました。 つまり、検索、エージェント利用、トレーニングを混在させるクローラーは、サイト所有者が設定を変更しない限り、デフォルトでこれらのサイトをクロールできなくなります。このデフォルト設定の変更は、新規の Cloudflare 顧客、既存顧客によって新たに設定されたサイト、およびすべての既存の無料顧客に適用されると同社は述べています。 この動きは、AI モデルプロバイダーがトレーニング目的やエージェントサービスの強化のためにウェブコンテンツにアクセスできる方法に影響を及ぼす可能性があります。 Cloudflare は、ほとんどのウェブサイト所有者が自社のコンテンツを検索および多くの場合 AI サービスを通じて発見可能であることを望んでいる一方で、知的財産が無償で提供されることに対する保護を求めていると指摘しています。 Cloudflare は特に、「世界最大の検索エンジン」（明らかに Google を指す！）について、AI 利用を避けても発見可能であることが困難なため、他の AI 企業よりも約「2 倍多く」の情報にアクセスできていると批判しました。 Google は過去にこの一般化に対して反発を示し、サイト所有者がコンテンツをトレーニングや Gemini アプリや Vertex API などの AI プロダクト・サービスでの利用から除外できる [Google Extended](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) というボットを提供していると指摘している。その利用は、Google Search へのサイト inclusion（インクルージョン）に影響を与えない。しかし、同テックジャイアントの主力である Googlebot は、AI Overviews や AI Mode といった AI 機能を含む検索のためにクローリングを行っている。 「現在、インターネット上のトラフィックの大部分が非人間のものであるため、持続可能なエコシステムが生まれるように、さらに一歩進んで迅速に行動しなければならない」と、Cloudflare の共同創設者兼 CEO である Matthew Prince は、ニュース発表の中で述べた。これは、ボットがオンライン上で初めて人間のトラフィックを上回るという直近のマイルストーン [where bots surpassed human traffic online](https://x.com/eastdakota/status/2062212701414187452) を指している。この転換は、来年まで起こらないと予想されていた。 「Cloudflare の新しいツールとパートナーシップにより、ウェブサイト所有者には可視性と商業的機会が増加し、明確で透明性のある意図を持つボットを保有する AI 企業にも利益をもたらす」と Prince は述べた。「私たちが提案するデフォルトの変更が、混合利用のクローラーに対して検索用途とエージェント利用・トレーニング用途を分離させるよう促すことを願っている」 Cloudflare はユーザーが [独自の AI システムを立ち上げる](https://www.cloudflare.com/ai-solution/) ための多数の製品を提供していますが、同社はまた、AI エラにおいて出版者に対してコンテンツに対するより多くのコントロールを与える一連のツールもリリースしています。ここ数年、Cloudflare は [AI ボットに対抗するツール](https://techcrunch.com/2024/07/03/cloudflare-launches-a-tool-to-combat-ai-bots/) を展開しており、その中には AI ボットがスクレイピングを行う際にウェブサイトが課金できる [マーケットプレイス](https://techcrunch.com/2025/07/01/cloudflare-launches-a-marketplace-that-lets-websites-charge-ai-bots-for-scraping/) も含まれており、これは「Pay Per Crawl（クロール課金）」と名付けられています。 同社によると、後者は現在「Pay Per Use（利用課金）」へと進化しており、コンテンツが取得されるだけでなく、価値を生み出す際に出版者が AI 企業から課金できる仕組みとなります。 この変更はまた、AI モデルプロバイダーに対する出版者の帯域幅や計算リソースの節約にも寄与する可能性があります。Cloudflare のデータによると、AI クローラーからのクロールトラフィックの過半数が、変更されていないページの再取得に費やされているからです。 これを具体化するため、Cloudflare は当初 Ceramic.ai と You.com という 2 つのパートナーと協力しています。出版者がオプトインすると、そのコンテンツが Ceramic の AI 検索結果に表示された場合や、You.com が彼らのプレミアムコンテンツにアクセスした場合に支払いが行われます。 他の AI 企業も、自社の業務方法に合わせてこのモデルをカスタマイズできることを Cloudflare は述べています。 当記事内のリンクを通じてご購入いただいた場合、[私たちは少額のコミッションを獲得する可能性があります](https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。これは私たちの編集の独立性には影響しません。 Sarah は 2011 年 8 月以来 TechCrunch の記者として活動しています。彼女は以前 ReadWriteWeb で 3 年以上勤務した後、同社に入社しました。記者としての業務に先立ち、Sarah は銀行業、小売業、ソフトウェアなど様々な業界で IT 分野で働いていました。 Sarah への連絡や、彼女からの outreach の確認は、[sarahp@techcrunch.com](mailto:sarahp@techcrunch.com) へメールを送るか、Signal で sarahperez.01 経由の暗号化メッセージで行うことができます。 [プロフィールを見る](https://techcrunch.com/author/sarah-perez/)

Cloudflare の新方針が AI 企業に出版者のコンテンツ利用料の支払いを義務付け

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト