GoogleのAI優位性：公正なインターネットのためにはクローラーの分離が唯一の道

GoogleのAI優位性：公正なインターネットのための唯一の道はクローラーの分離である理由 ![](https://blog.cloudflare.com/cdn-cgi/image/format=auto,dpr=3,width=64,height=64,gravity=face,fit=crop,zoom=0.5/https://cf-assets.www.cloudflare.com/zkvhlag99gkb/7zPAn6Z5bM56muUAy3eoME/255427dc08ca28bf0f81255e12cc1724/5293da44-cf65-41ed-80af-e44eccd60200_224x224.png) マリア・パルミエリ ![](https://blog.cloudflare.com/cdn-cgi/image/format=auto,dpr=3,width=64,height=64,gravity=face,fit=crop,zoom=0.5/https://cf-assets.www.cloudflare.com/zkvhlag99gkb/5Gnw21z58iGs9iXZZfPg2R/3aca1f7c1636c619607710fcd802d77a/sebastian-hufnagel.jpeg) セバスチャン・フフナーゲル 今週初め、英国の競争・市場庁（CMA）は、Googleに対する提案された一連の行動要件に関する協議を開始しました。この協議は、CMAが最終的な措置を課す前に、提案された要件についての意見を募集するものです。これらの新規則は、Googleが生成AIサービスと機能を強化するために検索をどのように利用しているかについて、出版者（広く「ウェブ上でコンテンツを公開するあらゆる当事者」と定義される）が直面する選択肢と透明性の欠如に対処することを目的としています。これは、英国のデジタル市場競争制度の下で開始された行動要件に関する最初の協議です。 私たちは、CMAが出版者により公平な取引が必要であると認識したことを歓迎し、提案された規則は正しい方向への一歩であると考えています。出版者は、自社のコンテンツが生成AIサービスに含まれることを制御するためのツールにアクセスする権利を持つべきであり、AI企業は競争するための公平な競争の場を持つべきです。 しかし、私たちは、CMAは十分に踏み込んでおらず、英国の創造的セクターを保護し、生成的およびエージェント的AIの市場における健全な競争を促進するためにもっとすべきだと考えています。 CMAによるGoogleの戦略的市場地位（SMS）指定 2025年1月、英国の規制環境は、2024年デジタル市場・競争・消費者法（DMCC）の施行により、重要な法的転換を経験しました。競争へのリスクに対処するために独占禁止調査に依存するのではなく、CMAは現在、企業が実質的で定着した市場支配力を持つ場合、それらを戦略的市場地位（SMS）を持つと指定することができます。この指定により、CMAは競争を改善するために、詳細な行動要件の課すなど、デジタル市場へのターゲットを絞った介入を行うことができます。 2025年10月、CMAは、英国の検索市場で90％のシェアを持つことを理由に、Googleを一般検索および検索広告においてSMSを持つと指定しました。決定的に重要なのは、この指定にはAIオーバービューとAIモードが含まれており、CMAは現在、Googleの検索エコシステムに行動要件を課す権限を持っていることです。CMAによって課される最終的な要件は単なる提案ではなく、特にAIクローリングに関連し、Googleが公平に運営されることを保証するための重大な制裁を伴う、法的に執行可能な規則です。 出版者は、Googleが生成AIに自社コンテンツを使用することから意味のある方法でオプトアウトする必要がある CMAの指定はこれ以上ないほど時宜を得たものです。私たちが以前述べたように、インターネットがAIクローリング行動の明確な「道のりのルール」を必要としている時代にいることは疑いの余地がありません。 CMAが正しく述べているように、「出版者は、Googleが一般検索で有する市場支配力のために、Googleの一般検索のために自社コンテンツがクロールされることを許可する以外に現実的な選択肢を持っていません。しかし、Googleは現在、そのコンテンツを検索生成的AI機能と、より広範な生成AIサービスの両方で使用しています。」 言い換えれば、Googleが検索インデックス作成のためにスクレイピングする同じコンテンツが、AIオーバービューやAIモードのような推論／接地目的にも使用されており、これらはリアルタイムのユーザークエリに応答するためにインターネットからライブ情報を取得することに依存しています。そして、それは出版者と競争にとって大きな問題を生み出します。 出版者は自社のウェブサイトでGoogleの検索クローラーであるGooglebotを不許可またはブロックする余裕がないため、自社のコンテンツが、自社ウェブサイトへのトラフィックをほとんど（もしあってもごくわずかしか）もたらさないGoogle検索内のAIオーバービューやAIモードのような生成AIアプリケーションで使用されることを受け入れなければなりません。これは、オンライン広告への人的トラフィックを駆動する上でのGoogle検索の重要な役割を考えると、数十年にわたってデジタル出版を支えてきた広告収入に基づくビジネスモデルを損なうものです。また、それはGoogleの生成AIアプリケーションが、ほとんどの場合帰属表示や補償なしに、出版者のコンテンツを複製することによって出版者と直接競争することを意味します。 検索における支配的地位のためにGoogleをブロックすることに出版者が消極的であることは、Googleに生成AIおよびエージェント的AI市場において不公平な競争上の優位性を与えています。他のAIボット運営者とは異なり、Googleは自社の検索クローラーを使用して様々なAI機能のためのデータを収集することができ、そのアクセスが制限されることをほとんど恐れる必要がありません。Googleは、すでに無料で得ているそのデータに対して出版者に支払うインセンティブをほとんど持っていません。 これは、AI開発者がコンテンツの公平な価値を交渉する、十分に機能する市場の出現を妨げています。代わりに、他のAI企業は、一人の支配的なプレイヤーが補償を完全に回避することを許すシステムによって構造的に不利な立場に置かれているため、交渉の席に着くことから阻害されています。CMA自身が認識しているように、「[このコンテンツがどのように使用されるかについて十分なコントロールを提供しないことによって、Googleは出版者が自社コンテンツを収益化する能力を制限することができながら、競合他社が匹敵できない方法でAI生成結果のためのコンテンツにアクセスすることができます。」 Googleの優位性 Cloudflareのデータは、Googleの競争上の優位性に関する懸念を裏付けています。私たちのデータに基づくと、Googlebotは最も近い競合他社よりも著しく多くのインターネットコンテンツを閲覧しています。 観測された2か月間にわたって、Googlebotは個々のページに、ClaudeBotやGPTBotのほぼ2倍、Meta-ExternalAgentの3倍、Bingbotの3倍以上成功裏にアクセスしました。他の人気のあるAIクローラーとの差はさらに極端でした：例えば、GooglebotはPerplexityBotの167倍ものユニークページを閲覧しました。過去2か月間に観測した当社ネットワークを使用したサンプルユニークURLのうち、Googlebotは約8％をクロールしました。 概数倍率で表すと、Googlebotは以下を閲覧しています： 対 ClaudeBotによって閲覧されたユニークURLの量の約1.70倍； 対 GPTBotによって閲覧されたユニークURLの量の約1.76倍； 対 Meta-ExternalAgentによって閲覧されたユニークURLの量の約2.99倍； 対 Bingbotによって閲覧されたユニークURLの量の約3.26倍； 対 Amazonbotによって閲覧されたユニークURLの量の約5.09倍； 対 Applebotによって閲覧されたユニークURLの量の約14.87倍； 対 Bytespiderによって閲覧されたユニークURLの量の約23.73倍； 対 PerplexityBotによって閲覧されたユニークURLの量の約166.98倍； 対 CCBotによって閲覧されたユニークURLの量の約714.48倍；そして 対 archive.org_botによって閲覧されたユニークURLの量の約1801.97倍。 Googlebotは他のCloudflareデータセットでも際立っています。 全体的なトラフィックで最もアクティブなボットとしてランクされているにもかかわらず、出版者は他のクローラーと比較してrobots.txtファイルでGooglebotを不許可またはブロックする可能性がはるかに低いです。これは、検索を通じて自社コンテンツへの人的トラフィック、ひいては広告収入を駆動する上でのその重要性による可能性が高いです。 以下に示すように、二重目的のGooglebotを完全に明示的に不許可とするウェブサイトはほとんどなく、このボットが検索参照を通じたトラフィック駆動においてどれほど重要であるかを反映しています。（部分的な不許可は、多くの場合、ログインエンドポイントなど、検索エンジン最適化（SEO）に関係ないウェブサイトの特定の部分に影響を与えることに注意してください。） Robots.txtは単にクローリングの設定を表現することを可能にするだけで、執行メカニズムではありません。出版者は「良いボット」がそれに従うことに依存しています。自社サイトへのクローラーアクセスをより効果的に管理し、特定のボットの遵守状況とは独立して管理するために、出版者は特定のルールでWebアプリケーションファイアウォール（WAF）を設定し、技術的に望ましくないクローラーが自社サイトにアクセスすることを防ぐことができます。上記のrobots.txtと同じ論理に従うと、ウェブサイトは主に他のAIクローラーをブロックし、Googlebotはブロックしないと予想されます。

GoogleのAI優位性：公正なインターネットのためにはクローラーの分離が唯一の道

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト