Making AI search smarter｜AI を活用した検索の知能化を推進

検索はウェブ上のほとんどの体験を駆動しています。私たちはこれによって物事を成し遂げ、ウェブ上のほぼすべてを見つけます — 創作者たち、商人たち、あるいはあなたが今まさにボックスに入力した内容に対する答えです。約30年にわたり、この発見の旅路は単純な取引に基づいていました：検索エンジンがあなたのコンテンツをクロールすれば、それがお客さんを連れてきてくれるというものです。あなたはこれらの顧客を広告や購読、あるいは単にその聴衆自体を通じてビジネスに変えました。発見可能であることと報酬を得ることが同じ意味を持つ時代でした。 1年前、最初の「コンテンツ独立記念日」に私たちは、AI 時代のこの取引を守るために線を引きました。しかし、砂漠に引いた線は第一歩に過ぎませんでした。それ以来、消費者の生活における AI 検索の普及は加速し、オンライントラフィックの50%以上が非人間由来となっています。脅威はブロックできる訓練用クロラーの数台から、AI 回答を中心に再構築されつつある検索そのものへと変化しました。 今日の回答エンジン（Answer Engines）はあなたのページを読み込み、ユーザーに要約を提供するため、訪問自体が必要とされず、それに依存していた収益も失われます。私たちはこれを firsthand で見ており、独立した調査がそれを裏付けています：2025 年のピュー・リサーチセンター（Pew Research Center）の研究によると、Google が AI による要約を表示した場合、ユーザーは従来の検索結果リンクをクリックする頻度はわずか 8% でした（要約がない場合の約半分）。一方、要約内のリンクをクリックしたのはたった 1% だけでした。これは顧客を窮地に追い込んでいます：AI を拒否すれば見つけられにくくなり、受け入れればユーザーに大きな価値を提供しながらも、その対価として得られるものが次第に少なくなるという選択を迫られています。顧客は自分たちの提供する価値に見合った存在証明と報酬を望んでいますが、現状では二者択一を強いられています。 本日、私たちは顧客が誰にサイトへのアクセス権を与え、何を許可するかをより適切に制御できるよう支援する新しいボット（bot）オプションを発表しました。しかし、ブロック機能は第一歩に過ぎません。「ノー」と言うことはコンテンツを守ることにはなりますが、それを支えるビジネスモデルの再構築にはなりません。それゆえ、検索から始め、インターネットの新たな経済モデルの構築に取り組む時が来ました。 契約の再構築 透明性と制御は基盤ですが、それだけでは不十分です。2025 年、私たちは責任ある AI ボットの原則という一連の枠組みを通じて基盤を築きました：ボットは自分が誰であり何のために存在するのかについて透明であるべきであり、サイト所有者の選択を尊重し、誠実に行動すべきです。私たちのツールはこの基準をボットに適用します。しかし、良いボットの行動を強制するだけでは、それを利用している人々にとって AI 検索がより良くなるわけではなく、回答を可能にした作品を持つクリエイターにお金も還元されません。ウェブが「ノー」と言うのを助けるだけでなく、「イエス」と言うものを再構築することもできるのです。 そこで本日、防衛から攻撃へと転じ、かつてのあの契約の両側面を再び結び直す二つのイニシアチブを発表します。 AI 検索を賢くする：グローバルネットワークで捉える「新鮮さ」「高品質さ」「実際に何が変わったか」といったシグナルを活用することで、回答エンジンが最も関連性の高いコンテンツを上位に表示し、不要なクローリングを減らすお手伝いができます。検索を行う人々はより良い回答を得られ、ウェブページが変更された場合にのみ再クローリングされることで、AI 企業とサイト所有者双方のコストも削減されます。 クリエイターに提供する価値に対して報酬を支払う：あなたの作品が誰かの質問に答えるために使用された場合、ただ無料でスクレイピングされるのではなく、報われるべきです。また、何が使用され、人々が何を求めているかを確認できる権利を持つべきです。これは真の収益源となり、見つける価値のあるオリジナルコンテンツを継続して制作するインセンティブとなるはずです。 検索を賢くする 本日、AI 検索をより賢くし、顧客に何の新しい価値も生み出さないクローリングのコストを負担させないための研究プログラムを開始します。 ウェブの 20% 以上が Cloudflare のネットワーク内にあり、これにより私たちは独自の視点を得ています。どのページが実際に変更されたか、また人々やエージェントがどこに集まっているかを特定できます。このプログラムを通じて、顧客がコンテンツの鮮度について共有することを選択したシグナルを利用し、それらを人間とボットの両方のトラフィックフローに関する私たちの独自の洞察と組み合わせます。回答エンジンにとっては高品質なコンテンツへの道筋となり、顧客にとってはユーザーが実際に何を求めているか、そしてそのコンテンツが AI 検索結果にどのように表示されるかを把握する視点を提供します。目的は二つのことを測定することです：これらのシグナルが回答エンジンにより新鮮で高品質なコンテンツを表面化させるのにどれだけ役立つか、また不要なクローリングをどれほど削減できるか。 この二つ目の利点である不要なクローリングの削減は、聞こえ以上に大きな意味を持ちます。Cloudflare のデータによると、良質なボットからのクローリングトラフィックの 50% 以上が変更されていないページの再取得に費やされており、クローリング量が拡大するにつれてこの数はさらに増加すると予想されます。「ここでは何も変更されていません」というシグナル一つで、クローラーは訪問をスキップできます。これにより回答エンジンの計算リソースを節約します。より重要なのは、サイト運営者が不要なリクエストに対してサーバーを提供し、支払いを行うことを防げる点です。 このプログラムは設計上中立です：私たちの目標は、公正に行動するすべての回答エンジンで機能するようにすることです。対象は検索に限定されており、コンテンツを共有することもなく、基盤モデルの学習にも一切使用しません。私たちは学んだことを公開する予定であり、そこにはサイト運営者へのメリット（より優れたコンテンツの発見可能性やサーバー負荷の軽減など）も含まれます。今年後半にこの機能を広く利用可能にし、ネットワーク全体での不要なクロールを削減する計画です。 Pay Per Crawl から Pay Per Use へ 昨年、出版者が AI 企業に対してコンテンツのクロールに対して課金できる仕組みとして「Pay Per Crawl」を開始しました。これは確かに第一歩でしたが、クロールは価値を測る粗末な指標です。1 ページが一度だけクロールされても、その後数千もの回答で引用される可能性がありますし、逆に何度もクロールされながら全く使用されないこともあります。クリエイターは、自分が提供する価値に対して公平に報酬を得たいと考えています。 そこで私たちは「Pay Per Crawl」を「Pay Per Use（利用課金）」へと進化させ始めています。Ceramic.ai や You.com といった主要な AI 企業と実験を行っており、その仕組みはシンプルです：組織は自社の支払いモデルを持ち込み、Cloudflare ネットワーク全体のコンテンツオーナーに対して容易にスケーリングできます。 Ceramic は「クエリ課金（pay-per-query）」モデルを構築しました。これにより、参加を希望する出版者は、自分のコンテンツが Ceramic の検索結果に表示された際に報酬を受け取ることができます。つまり、この支払い設計は、クロラーがたまたら取得した回数ではなく、その仕事がもたらす価値に追随するように作られています。 「AI 検索の未来を拡大するには、広範なリーチを持ち、透明性と公正な報酬への共通のコミットメントを持つパートナーが必要です」と、Ceramic.ai の創設者兼 CEO である Anna Patterson は述べています。「Cloudflare を利用することで、私たちは事業運営を容易かつプログラム的にスケールできます。クエリ課金モデルを彼らのネットワークに導入することで、コンテンツ所有者数百万名が、検索結果に表示されるたびにシームレスに報酬を受け取れるよう保証します。」 報酬に加え、Cloudflare/Ceramic プログラムに参加するコンテンツ所有者は、回答エンジン最適化（AEO: Answer Engine Optimization）の支援に役立つ新しいレポート機能を解放できます。顧客ついに、検索結果にコンテンツが表示される主要なクエリ、特定のウェブページとスニペット、平均的な検索結果ランキング順位などを見ることができるようになります。これは、顧客の発見可能性を支援するために今後展開していく多くの製品のうちの最初のものです。 これは単なる新興アプローチの一つです。もう一つの例は You.com からのものです：エージェントは、必要な特定のプレミアムコンテンツに対して、事前のコミットメントなしでオンデマンドで支払いを行うことができます。AI プロバイダーによる新しい支払いモデル（例えば、クエリ課金、結果課金など）が試験されており、私たちはそれらすべてをサポートするインフラストラクチャを有しています。 私たちは、これが実験であることを率直に伝えたいと思います。学ぶべきことは多くあり、インターネット規模においてこれがどの程度機能するかもその一つです。私たちはパートナーや顧客と共にこれを解決し、学んだことを共有していきます。しかし目標は明確です：AI 検索企業はより新鮮で、根拠のある回答を得ることができ、その回答を可能にする作業を行った顧客は、貢献した際に報酬を受け取ります。このすべてにおける Cloudflare の役割は、この市場が繁栄するためのインフラストラクチャ層を提供することです。 私たちはこれが、検索の経済性が向かっている方向に、より自然な適合であると考えています。従来の人間によるウェブでは、時間を節約するために検索を最適化し、抜粋や 10 個の青いリンク、そしてクリックを提供していました。しかし、エージェント型インターネット（Agentic Internet）は異なります：エージェントは高速で読み込み、継続的に検索を行います。検索は、単一の質問に答えるためにエージェントが数十回行うものとなり、目的地というよりはむしろインフラ（ユーティリティ）に近いものになっています。そのような世界では、重要となる単位はクロールやクリックではありません。それは結果（アウトカム）です。その結果を価格設定し、それを可能にした人々に支払うことが、ウェブが引き続き繁栄するための道筋となります。 私たちが獲得したい見出し 1 年前のコンテンツ独立記念日における見出しは、デフォルトで「いいえ」でした：AI は補償なしではクロールできません。今年、私たちの焦点は、ユーザーにより多くの製品とコントロールを提供し、「はい」と言えるようにし、それによってより多くの恩恵をもたらすことにあります。 今日の発表は始まりに過ぎません。Cloudflare の研究プロジェクトは、当社のシグナルがより少ないクロールでより良い結果を生み出すかどうかを検証するために設計されています。Pay Per Use は、コンテンツ制作者がその仕事に対して公正な報酬を受けるべきだと信じるパートナーと共に実験していく有望な方向性です。これは過去 30 年間にウェブが構築されてきた方法でもあります：誰かがパイロットを実行し、「モデルが壊れている」という状態を「新しいモデルはこちらです」という状態へと、一つの実験ごとに転換させていくのです。私たちは、この新たなエージェント時代において顧客の価値を発見可能にし、コンテンツを最大限の発見のために最適化することが重要だと信じています。しかし、彼らは最も貴重な創造的資産を無料で手放すことなく、これを行うべきです。 ウェブは変化しており、それに依存してきたビジネスモデルもそれとともに変化しています。かつてのインターネットは開放的で中立であり、貢献する価値がありました。それをそのように保ち、将来これを支えるビジネスモデルを構築する稀有な機会を私たちは持っています。質問をする人間やエージェントのためのより賢い回答。そのスキル、創造性、そしてコミットメントによって回答に価値をもたらす人々への公正な取引。これが Cloudflare のミッション、つまり「より良いインターネットの構築を支援する」という使命 pursued する方法です。 コンテンツ独立記念日おめでとうございます！ 開放的でエージェント対応可能なウェブを築くことに興味がある方へ。Ceramic や You プログラムについて詳しく知りたい場合は、こちらのフォームにご記入ください。回答エンジン（answer engine）を構築中で、より賢いクロールを実現したいとお考えの場合は、ぜひご連絡ください：aeo@cloudflare.com。 技術用語の注記： - クロール (crawling): ウェブ上の情報を収集・取得するプロセス - エージェント (agent): 自律的にタスクを実行するソフトウェアプログラム - パイロット (pilot): 小規模な試験運用や実験的な試み ![image](https://cf-assets.www.cloudflare.com/zkvhlag99gkb/3zED8SPiCSPFBL13KA1ifg/0cbe54a3c863e365318ccb9e33cfad11/BLOG-3339_2.png)

AI を活用した検索の知能化を推進

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト