Cloudflare の新方針が AI 企業に出版者のコンテンツ利用料の支払いを義務付け
本文の状態
日本語全文を表示中
詳細モードで約5分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TechCrunch AI
クラウドフレアは、AI 企業が自社の検索結果や生成物で出版者のコンテンツを利用する際に、対価を支払うことを求める新たなポリシーを発表した。これにより、AI 開発企業のコンテンツ取得コストが増加する可能性がある。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Cloudflare は先ほど、AI 業界に対し、Google Search のような従来の検索目的に使用されるウェブクローラーと、AI エージェントやトレーニングに使用されるクローラーを分離するための新たな期限を提示しました。同社は水曜日に、2026 年 9 月 15 日より、広告を表示するページに対してデフォルト設定で「混合用途」のクローラー（mixed-use crawlers）をブロックすると発表しました。
つまり、検索、エージェント利用、トレーニングを混在させるクローラーは、サイト所有者が設定を変更しない限り、デフォルトでこれらのサイトをクロールできなくなります。このデフォルト設定の変更は、新規の Cloudflare 顧客、既存顧客によって新たに設定されたサイト、およびすべての既存の無料顧客に適用されると同社は述べています。
この動きは、AI モデルプロバイダーがトレーニング目的やエージェントサービスの強化のためにウェブコンテンツにアクセスできる方法に影響を及ぼす可能性があります。
Cloudflare は、ほとんどのウェブサイト所有者が自社のコンテンツを検索および多くの場合 AI サービスを通じて発見可能であることを望んでいる一方で、知的財産が無償で提供されることに対する保護を求めていると指摘しています。
Cloudflare は特に、「世界最大の検索エンジン」（明らかに Google を指す！）について、AI 利用を避けても発見可能であることが困難なため、他の AI 企業よりも約「2 倍多く」の情報にアクセスできていると批判しました。
Google は過去にこの一般化に対して反発を示し、サイト所有者がコンテンツをトレーニングや Gemini アプリや Vertex API などの AI プロダクト・サービスでの利用から除外できる Google Extended というボットを提供していると指摘している。その利用は、Google Search へのサイト inclusion（インクルージョン）に影響を与えない。しかし、同テックジャイアントの主力である Googlebot は、AI Overviews や AI Mode といった AI 機能を含む検索のためにクローリングを行っている。
「現在、インターネット上のトラフィックの大部分が非人間のものであるため、持続可能なエコシステムが生まれるように、さらに一歩進んで迅速に行動しなければならない」と、Cloudflare の共同創設者兼 CEO である Matthew Prince は、ニュース発表の中で述べた。これは、ボットがオンライン上で初めて人間のトラフィックを上回るという直近のマイルストーン where bots surpassed human traffic online を指している。この転換は、来年まで起こらないと予想されていた。
「Cloudflare の新しいツールとパートナーシップにより、ウェブサイト所有者には可視性と商業的機会が増加し、明確で透明性のある意図を持つボットを保有する AI 企業にも利益をもたらす」と Prince は述べた。「私たちが提案するデフォルトの変更が、混合利用のクローラーに対して検索用途とエージェント利用・トレーニング用途を分離させるよう促すことを願っている」
Cloudflare はユーザーが 独自の AI システムを立ち上げる ための多数の製品を提供していますが、同社はまた、AI エラにおいて出版者に対してコンテンツに対するより多くのコントロールを与える一連のツールもリリースしています。ここ数年、Cloudflare は AI ボットに対抗するツール を展開しており、その中には AI ボットがスクレイピングを行う際にウェブサイトが課金できる マーケットプレイス も含まれており、これは「Pay Per Crawl（クロール課金）」と名付けられています。
同社によると、後者は現在「Pay Per Use（利用課金）」へと進化しており、コンテンツが取得されるだけでなく、価値を生み出す際に出版者が AI 企業から課金できる仕組みとなります。
この変更はまた、AI モデルプロバイダーに対する出版者の帯域幅や計算リソースの節約にも寄与する可能性があります。Cloudflare のデータによると、AI クローラーからのクロールトラフィックの過半数が、変更されていないページの再取得に費やされているからです。
これを具体化するため、Cloudflare は当初 Ceramic.ai と You.com という 2 つのパートナーと協力しています。出版者がオプトインすると、そのコンテンツが Ceramic の AI 検索結果に表示された場合や、You.com が彼らのプレミアムコンテンツにアクセスした場合に支払いが行われます。
他の AI 企業も、自社の業務方法に合わせてこのモデルをカスタマイズできることを Cloudflare は述べています。
当記事内のリンクを通じてご購入いただいた場合、私たちは少額のコミッションを獲得する可能性があります。これは私たちの編集の独立性には影響しません。
Sarah は 2011 年 8 月以来 TechCrunch の記者として活動しています。彼女は以前 ReadWriteWeb で 3 年以上勤務した後、同社に入社しました。記者としての業務に先立ち、Sarah は銀行業、小売業、ソフトウェアなど様々な業界で IT 分野で働いていました。
Sarah への連絡や、彼女からの outreach の確認は、sarahp@techcrunch.com へメールを送るか、Signal で sarahperez.01 経由の暗号化メッセージで行うことができます。
原文を表示
Cloudflare has just issued the AI industry a new deadline to separate the web crawlers used for traditional search purposes, like Google Search, from those used for AI agents and training. Starting on September 15, 2026, Cloudflare’s default settings will block “mixed-use” crawlers from any pages that host ads, the company announced on Wednesday.
That means that the crawlers that blend search, agent use, and training will be blocked from crawling these sites by default, unless the site owner adjusts the settings otherwise. These changes to the defaults will apply to new Cloudflare customers, new sites set up by existing customers, and all existing free customers, the company says.
The move could impact how AI model providers are able to access web content for training purposes and to help power their agentic services.
Cloudflare points out that most website owners want their content to be discoverable via search and often through AI services as well, but they want protections against having their intellectual property given away for free.
Cloudflare specifically calls out the “world’s largest search engine” (clearly a Google reference!) as having access to about “2x more information” than other AI companies because the search giant makes it difficult for customers to remain discoverable without being used for AI.
Google has pushed back against this generalization in the past, noting that it provides a bot called Google Extended that lets site owners opt out of having their content used for training and AI products and services like Gemini Apps and Vertex API. Its use doesn’t impact a site’s inclusion in Google Search. However, the tech giant’s flagship Googlebot crawls for Search, including AI features like AI Overviews and AI Mode.
“Now that the majority of traffic on the Internet is non-human, we must go further and act faster so that a sustainable ecosystem can emerge,” said Cloudflare co-founder and CEO Matthew Prince in his announcement of the news, referring to the recent milestone where bots surpassed human traffic online for the first time. That shift was not expected to occur until next year.
“Cloudflare’s new tools and partnerships give website owners increased visibility and commercial opportunities and benefit AI companies that have bots with clear and transparent intent. We hope that our proposed default changes encourage mixed-use crawlers to separate out search from agent use and training,” Prince said.
While Cloudflare offers a number of products to help users launch their own AI systems, the company has also released a range of tools to give publishers more control over their content in the AI era. In recent years, Cloudflare launched tools to combat AI bots, including a marketplace that lets websites charge AI bots for scraping, dubbed Pay Per Crawl.
The latter is now also evolving into “Pay Per Use,” the company said, which will allow publishers to charge AI companies when their content creates value, not just when it’s fetched.
The change could also help conserve publishers’ bandwidth and compute resources for AI model providers, as Cloudflare’s data suggested that over 50% of crawl traffic from AI crawlers is spent re-fetching unchanged pages.
To put this into action, Cloudflare is initially working with two partners, Ceramic.ai and You.com. When a publisher opts in, they’re paid when their content appears in Ceramic’s AI search results or when You.com accesses a piece of their premium content.
Other AI companies can customize this model for how they work, Cloudflare says.
*When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.*
Sarah has worked as a reporter for TechCrunch since August 2011. She joined the company after having previously spent over three years at ReadWriteWeb. Prior to her work as a reporter, Sarah worked in I.T. across a number of industries, including banking, retail and software.
You can contact or verify outreach from Sarah by emailing sarahp@techcrunch.com or via encrypted message at sarahperez.01 on Signal.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み