Attribution Business Insights でクローラーの正体を明らかにする

オリジナルコンテンツは、会話と好奇心の生命線です。それが存在しない世界を想像してみてください：すでに作成された同じ素材を再生する千通りの方法を見つけることはできるかもしれませんが、新しいアイデアや議論の衰退を目撃することになるでしょう。 ウェブサイトの所有者は、アイデア、ニュース、興味深い小話のエコシステムを支えていますが、自社のウェブサイトへのトラフィック管理とコンテンツに対する対価の獲得という、ますます複雑化する課題に直面しています。一部のボットトラフィックが明らかに悪意のあるものであることは明らかですが、特定の AI クロールラーがビジネスを支援しているのか、それとも害を与えているのかは、常に明確ではありません。これに応えるために、サイト所有者は、価値を提供するトラフィックと、リソースを圧迫し、コンテンツを消費する実際の人間という自社のビジネスモデルの基盤を侵食するトラフィックを区別するための、詳細かつ信頼性の高いデータを必要としています。 Cloudflare では、ウェブサイトの所有者には自社のコンテンツへのアクセスを制御する権利があるという核心的な信念を持っています。私たちは、ウェブサイト所有者が高品質なコンテンツを維持し、AI トラフィックを規制することを支援したいと考えています。 必要な明確さを提供し、ウェブサイト所有者がコントロールを取り戻す手助けをするため、ビジネスの意思決定者やパブリッシャーを意識して設計された新しい「Attribution Business Insights」ダッシュボードを発表できることを嬉しく思います。 新しいインターネット経済 何十年にわたり、インターネットのビジネスモデルは、明確かつ暗黙の了解に基づいていました。すなわち、ウェブサイト運営者が検索エンジンによるコンテンツのクロールを許可し、その見返りとして検索エンジンが読者を自社のページへ誘導するというものです。この相乗関係において、従来の検索エンジンはバランスの取れた「クロール対紹介」比率で運用され、広告収入、アフィリエイト収益、サブスクリプションを支えるために必要なページビューを生み出していました。検索インデックス用のクローラーは、1 件の紹介ごとにコンテンツを数回スキャンするため、ウェブサイトを検索エンジンに公開することは、追加の収益につながる明確なパイプラインを意味しました。これは SEO（Search Engine Optimization）時代と捉えることができます。 今日、AI クローラーおよびエージェントの爆発的な台頭がこの契約を破り、デジタル出版業界を前例のない危機へと陥れています。インターネットは、「ゼロクリック」エコシステムへの移行というリスクに直面しており、ここで AI チャットボットがオリジナルコンテンツをスクレイピングして即座に回答を合成し、元のソースを完全に迂回するようになっています。すでに SEO のみの世界から AEO（Answer Engine Optimization）の世界へと明確な転換が見られ、現在では GEO（Generative Engine Optimization）に関する議論が中心となっています。 この新しい現実の不均衡は、今日インターネット全体で見られるクローラーからリファラルへの比率によって明確に示されています。従来の検索エンジンは、正当な訪問者への参照と比較してよりバランスの取れたクローリング対参照比率を持っていましたが、主要な AI クローラーは根本的に異なる、収奪的な規模で動作しています。大手 AI 企業からのボットは、118:1 から 2025 年のコンテンツ独立性デー（Content Independence Day）の時期にはほぼ 50,000:1 に至るまでの幅広いクローリング対参照比率を示すことが観察されています。つまり、AI クローラーが単一の訪問者を戻すために、あなたのプレミアムコンテンツを数万回もクローリングしている可能性があります。この比率は根本的に不公平です。 出版者にとって、これは二重の打撃となります：第一に、コンテンツ制作やジャーナリズムを資金調達する重要なリファラルトラフィック、広告インプレッション、そして直接的なオーディエンス関係を見失っています。第二に、逆に商業的価値を提供しない自動化されたボットに対してコンテンツをホスト・配信するための上昇するインフラコストを負担させられています。すべてのクローラーを受け入れて発見されることを期待して許可することが意味を持つ時代は終わりました。 Attribution Business Insights の紹介 ウェブサイトオーナーには、事実を把握していただきたいのです。つまり、どのボットがビジネスに貢献し、どのボットが害を与えているのかを理解するための、冷徹かつ確かな数値です。また、この分析をこれまで以上に容易にするため、当社はノイズを排除し、顧客から最も重要だと指摘された詳細に焦点を当てた「Attribution Business Insights」を設計しました。 本日、「Attribution Business Insights」ダッシュボードは、すべての Cloudflare Bot Management カスタマー向けに利用可能になりました。この新しいダッシュボードは、ウェブサイトへ流入するボットトラフィックのターゲットを絞ったビューを提供するように設計されています。従来の分析ツールでは広範な手動フィルタリングが必要となる場合が多いですが、本ダッシュボードでは主要なインサイトを即座にご提供します。 私たちは、現在のサイトオーナーが最も切実に知りたい問いに答えようとしています。ウェブサイト上の AI トラフィックをどのように捉えるべきか？人間、非 AI ボット、AI ボットを含む異なるオーディエンスの価値は何か？そして何より、あなたのデータがどのような目的で使用されているのか？ ![image](https://cf-assets.www.cloudflare.com/zkvhlag99gkb/44iTYHoY6xZ0tmWlxmVg4k/e4defd336a295f2887ec41bb1ca5a629/image4.png) 新しい Attribution Business Insights ダッシュボードのビューには、ボットトラフィック全体に関するインサイト、サイト全体のクロール対参照比率、および AI ボットトラフィックとオーガニックトラフィックの分布が含まれています。 これらの問いに答えるため、ダッシュボードは強力なデータとインサイトの配列を表示します。 コンテンツページへのボットトラフィック：全体のボット対人間のトラフィック、およびコンテンツに正常にアクセスしたすべてのボットのボリュームを確認できます。 クロールからリファラルへの比率：24 時間、7 日間、30 日のスケールでサイト全体のクロールからリファラルへの比率を確認できます。また、各ボットオペレーター（1 つ以上のボットを所有する企業）ごとのクロールからリファラルへの比率も確認可能です。 主要ボットの内訳：ボリューム順の主要ボットリストには、その起源国、ウェブサイト上で占有する帯域幅、および現在ブロック中か許可中かが含まれます。 クローラーの動作に基づく更新された分類：「AI クローラー」という一般的なラベルを超え、トレーニング（つまり、次世代の LLM チャットボットの学習）、検索（つまり、Retrieval-Augmented Generation 用のデータベース更新）、またはエージェント（つまり、エンドユーザーへの回答を返すためのエージェント型インタラクションで使用）など、更新された分類体系に基づいてクローラーを分類します。 データからビジネス戦略へ AI クローラーがビジネスに与える影響を理解するためにセキュリティの専門家である必要はありません。ウェブサイト所有者が高レベルなインサイトを数分間取り込むだけであれば、コンテンツセキュリティポリシーの有効性に関する明確な温度計チェックを得て立ち去ることができます。 AI企業がどのように自社のコンテンツを活用しているかを理解するために、さらに詳しく調査を行いたい方々や、AI企業との関係をどのように発展させるかを決めるための情報を収集したい方々のために、ボット運営者別に整理されたより詳細なビューをご紹介します。 ![image](https://cf-assets.www.cloudflare.com/zkvhlag99gkb/7fXdFBu4d7cU3hNsm7Zch6/cf79d307a4de695f7f90badd205cc42d/image3.png) ウェブサイトのボット活動の分析。各ボットについて、タイプ、クロールから参照への比率、現在のアクションといった重要な詳細が含まれています。 あなたのウェブサイト上のコンテンツにアクセスしようとする企業を一元的に把握することで、クロール活動に関するより良い基準を策定できます。このデータは、顧客が事実を根拠としてあらゆるビジネス会話に参加できるよう支援することを目的としています。「Company1」のクロール量が「Company4」の20倍であることを伝え、「Company4」はすでにコンテンツに対して補償を行っていることを示しましょう。また、「Company2」による最近の活動に基づき、コンテンツのライセンス契約方法を再検討してください。この新しいダッシュボードにより、ビジネス会話を前進させることが可能になります。 この新しい可視性のレイヤーは、ウェブサイトを悪用から保護するために既存の持つツールとどのように結びついているのでしょうか？Bot Management の他の機能と同様に、アクションステップは依然としてセキュリティルール内で実行されます。コントロールプレーンにノイズを追加しないよう、Attribution Business Insights は、別のアクション場所ではなく、考え抜かれたフィルタリングされた分析のためのハブとして意図されています。このダッシュボードは情報の中央源として機能し、他の悪用対策を支配する同じルールエンジンでアクションを取る前に調査することを可能にします。また、AI トラフィックに関する議論にはセキュリティ専門ユーザーだけでなくより広範な利害関係者が関わることを認識し、意思決定者もこのダッシュボードに参加するよう明確に呼びかけたいと考えています。 What's next Attribution Business Insights ダッシュボードは、ウェブサイトの所有者が進化しつつある AI ボット脅威を管理し、より広くインターネットの新たなダイナミクスを形成するために必要な透明性とコントロールを提供するための次の重要なステップです。私たちはすでに、セキュリティ専門ユーザーだけでなくウェブサイト所有者の視点からセキュリティをカバーし、共有する価値あるオリジナルコンテンツを持つ可視性プレーンを創出するため、出版パートナーと緊密に次期バージョンを検討しています。 以下のスニークピークでは、AI 企業が異なるコンテンツやキャンペーンに対してどの程度の関心を持っているかを明らかにするために、記事ごとのクローラー活動を分析するための新しいビューが含まれています。 ![image](https://cf-assets.www.cloudflare.com/zkvhlag99gkb/1FzovRKJbdgEyYjvI3h3C7/f035ee40595d41024dc0ab8fb2222bda/image1.png) トラフィック量に基づく最も人気のある記事の分析。AI ボット、その他のボット、人間によるトラフィック（直接アクセスおよび参照元経由）という主要な指標を示しています。 可視性は最初のステップであり、この新しい時代においてウェブサイト所有者がコンテンツをコントロールできるよう支援する機能はさらに充実していきます。Cloudflare Bot Management のすべての顧客、特にビジネスの議論を主導している方々には、分析に対する新たな視点を得るため、今日から本機能をぜひご活用いただくようお勧めします。

Attribution Business Insights でクローラーの正体を明らかにする

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト