CloudflareがAIクローラー向けMarkdown機能とコンテンツシグナルを発表

Cloudflare は、AI クロールャーが Accept: text/markdown ヘッダーを介してウェブページの Markdown 版を要求できる機能「Markdown for Agents」を導入しました。同社はこの機能に、「コンテンツが AI 学習、検索インデックス化、推論に使用可能かどうかを発行者が宣言できる」と提案された「Content Signals」メカニズムを併せて提供しています。これは大規模言語モデル（LLM）システムによるページ利用を容易にするものですが、ウェブは AI エージェント向けに再設計されるべきか、それとも AI 企業が既存のウェブ標準に適応すべきかという議論を引き続き続けています。 Cloudflare は、HTML ページには LLM にとって意味論的価値がほとんどないナビゲーション、スタイル、スクリプトが含まれていると主張しています。単純な Markdown の見出しは約 3 トークンを要するのに対し、同等の HTML マークアップでは 12〜15 トークンが必要となります。同社によると、HTML で 16,180 トークンを必要とするブログ記事も、Markdown に変換すると約 3,150 トークンに縮小されます。 AI エージェントは、Accept ヘッダーで text/markdown を要求することで変換トリガーとなり、Cloudflare のエッジサーバーが HTML を取得して変換し、推定トークン数を示す x-markdown-tokens ヘッダーと共に Markdown を返します。これは、検索拡張生成（RAG）パイプラインの効率化を目的としています。 コンテンツシグナル提案は同意層を追加するものです。パブリッシャーは、robots.txt のコメント内に search、ai-input、ai-train という 3 つのシグナルを挿入することで、自社のコンテンツがインデックス化されるか、リアルタイム AI 入力として使用されるか、モデルトレーニングに含められるかを宣言できます。「yes」はその利用を許可し、「no」は禁止し、存在しない場合は好意を示さないことを意味します。Cloudflare はこれらのシグナルが強制力のある規則ではなく単なる希望事項であることを認めつつ、同社の Markdown 応答ではデフォルトで Content-Signal: ai-train=yes, search=yes, ai-input=yes が含まれていると指摘しています。同社は、多くの顧客がすでに検索は許可しつつトレーニングを禁止する管理された robots.txt ファイルを展開しており、細粒度の制御への要望を示していると述べています。 この取り組みは、検索エンジン擁護派からの反発を招きました。Google のジョン・ミュラーは、大規模言語モデル（LLM）クローラーが Markdown を単なるプレーンテキストファイル以上のものとして扱うかどうか、またリンクやナビゲーションを適切に追従するかどうかを疑問視しました。Bluesky 上では、ボット向けにページを Markdown に変換する慣行について「愚かなアイデア」と呼び、ページを Markdown に平坦化することで文脈と構造が失われると主張し、LLM はすでに HTML や画像さえも解析できると指摘しています。 出版業界は、AI スクレイピングへの対応をめぐり意見が分かれている。Medium は 2023 年に AI 学習用のデフォルト禁止方針を採用し、利用規約と robots.txt を更新して AI クローラーのアクセスをブロックした。これにより、ロイター、ニューヨーク・タイムズ、CNN といったメディアと同様に、OpenAI のクローラーに対するサイト全体のブロックに参加している。Medium の CEO は、AI 企業が作家のコンテンツに同意も報酬もなく利用していると主張している。Cloudflare もまた、AI クローラーに対して HTTP 402「Payment Required（支払いが必要）」レスポンスを返す従量課金モデルの実験を行っており、出版者は特定のボットを許可・課金・ブロックするオプションを持ち、アクセスの収益化を選択できるようになっている。 より多くの出版者が AI クローラーのブロックや有料アクセスモデルの検討を進める中、同意、報酬、技術的対応に関する議論はさらに激化するだろう。Markdown for Agents が広く採用される標準となるか、単なる任意の最適化オプションにとどまるかは、AI プラットフォームがこれらのシグナルにどう反応するか、そして出版者が機械に優しいフォーマットの提供に価値を見出すかどうかにかかっている。 著者について マット・フォスター マットはスーザンワークスのテクニカルプリンシパルです。アプリケーションの近代化と、顧客がレガシーなアプリケーションアーキテクチャを再考するのを支援することに専門知識を持っています。マットはヨーロッパおよびより最近では北米において、大企業から小規模企業まで多岐にわたるビジネス分野で、学際的なチームを率いてきました。ドメイン駆動設計（Domain Driven Design）やレガシー置換パターン（Legacy Displacement Patterns）に関する記事は、マーティン・ファウラーとの共著です。健康な体と健全な精神の重要性を強く信じており、技術に没頭していないときは、トライアスロンに向けて水泳、サイクリング、ランニングをしている姿を見ることができます。 もっと見る 表示しない

CloudflareがAIクローラー向けMarkdown機能とコンテンツシグナルを発表

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト