エージェント向けMarkdownの導入
オンラインコンテンツの発見方法が、従来の検索エンジンから構造化データを必要とするAIエージェントへ移行。人間だけでなくエージェントも第一級市民として扱い、HTMLを自動変換するMarkdown for Agentsを提案。
キーポイント
AIエージェント向けにHTMLをMarkdownに自動変換する新機能をCloudflareが発表
Markdown化によりAI処理時のトークン使用量を最大80%削減可能
Web検索のパラダイムシフト：従来のSEOからAIエージェント最適化へ移行
コンテンツネゴシエーションによりAIシステムが直接Markdownを取得可能に
コンテンツ作成者の意図を尊重したAI向けデータ提供の実現
影響分析・編集コメントを表示
影響分析
この発表は、AIエージェントがWebコンテンツを効率的に処理するためのインフラストラクチャー革新を示しており、従来のSEO中心のWeb最適化からAIエージェントを第一級市民として扱う新時代への移行を加速させる。Cloudflareのネットワーク規模を考えると、この機能が広く採用されれば、AIによるWebコンテンツ処理の効率性とコスト構造に大きな影響を与える可能性がある。
編集コメント
AIエージェント時代のWeb最適化における重要なインフラストラクチャー提供として注目。大規模なネットワーク効果を持つCloudflareが提供することで、業界標準化の可能性が高い。
エージェント向けMarkdownの導入
セルソ・マルティーノ
ウィル・アレン
オンラインでコンテンツやビジネスが発見される方法は急速に変化しています。かつては、トラフィックは従来の検索エンジンから発生し、SEOが誰が最初に見つかるかを決定していました。現在では、トラフィックはますますAIクローラーやエージェントから来るようになっており、それらは人間向けに構築された、しばしば非構造化されたWeb内の構造化データを要求します。
ビジネスとして、今後も先を行き続けるためには、今こそ人間の訪問者やSEO最適化のための従来の知恵だけでなく、エージェントを第一級市民として扱い始める時です。
Markdownが重要な理由
生のHTMLをAIに与えることは、中の手紙ではなく、包装を読むために単語数で支払うようなものです。単純な ## About Us
About Us
このブログ記事は、HTMLでは16,180トークン、Markdownに変換すると3,150トークンになります。これはトークン使用量の80%削減です。
Markdownは、エージェントやAIシステム全体にとっての共通言語として急速に普及しました。この形式の明示的な構造はAI処理に理想的であり、最終的にはより良い結果をもたらしながらトークンの無駄を最小限に抑えます。
問題は、WebがMarkdownではなくHTMLで構成されており、ページの容量は年々着実に増加し続け、ページの解析を困難にしていることです。エージェントにとって、その目標はすべての非本質的な要素をフィルタリングし、関連するコンテンツをスキャンすることです。
HTMLからMarkdownへの変換は、今やあらゆるAIパイプラインにおける一般的なステップです。それでも、このプロセスは理想的とは程遠いものです：計算を浪費し、コストと処理の複雑さを増し、何よりも、コンテンツ作成者が最初に意図した使用方法ではない可能性があります。
もしAIエージェントが、意図分析やドキュメント変換の複雑さを迂回し、代わりにソースから直接構造化されたMarkdownを受け取ることができたらどうでしょうか？
HTMLを自動的にMarkdownに変換
Cloudflareのネットワークは現在、コンテンツネゴシエーションヘッダーを使用する有効なゾーンに対して、ソースでのリアルタイムコンテンツ変換をサポートします。これにより、Cloudflareを使用し、かつ「エージェント向けMarkdown」が有効になっている任意のウェブサイトからAIシステムがページをリクエストする際、リクエスト内で text/markdown を優先する旨を表明できます。当社のネットワークは、可能な場合、その場でHTMLを自動的かつ効率的にMarkdownに変換します。
仕組みは以下の通りです。「エージェント向けMarkdown」が有効なゾーンから任意のページのMarkdownバージョンを取得するには、クライアントは Accept ネゴシエーションヘッダーに text/markdown を追加する必要があります。
以下は、当社の開発者向けドキュメントからページをリクエストする Accept ネゴシエーションヘッダーを使用したcurlの例です：
curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ \ -H "Accept: text/markdown"
または、Workersを使用してAIエージェントを構築している場合は、TypeScriptを使用できます：
const r = await fetch( https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/, { headers: { Accept: "text/markdown, text/html", }, }, ); const tokenCount = r.headers.get("x-markdown-tokens"); const markdown = await r.text();
今日、Claude CodeやOpenCodeのような最も人気のあるコーディングエージェントの一部が、コンテンツリクエストと共にこれらのacceptヘッダーを送信しているのをすでに見ています。さて、このリクエストへの応答はMarkdownでフォーマットされています。それだけ簡単です。
HTTP/2 200 date: Wed, 11 Feb 2026 11:44:48 GMT content-type: text/markdown; charset=utf-8 content-length: 2899 vary: accept x-markdown-tokens: 725 content-signal: ai-train=yes, search=yes, ai-input=yes --- title: Markdown for Agents · Cloudflare Agents docs --- ## What is Markdown for Agents The ability to parse and convert HTML to Markdown has become foundational for AI. ...
x-markdown-tokens ヘッダーを含めていることに注意してください。
仕組みの図は以下の通りです：
コンテンツシグナルポリシー
前回のバースデーウィーク中、Cloudflareはコンテンツシグナルを発表しました。これは、誰もが自分のコンテンツがアクセスされた後にどのように使用されるかについての選好を表明できるフレームワークです。
Markdownを返すときは、自分のコンテンツがエージェントやAIクローラーによって使用されていることを確認したいでしょう。そのため、「エージェント向けMarkdown」による変換済みのレスポンスには Content-Signal: ai-train=yes, search=yes, ai-input=yes が含まれます。
このフレームワークの詳細については、専用のコンテンツシグナルページをご確認ください。
Cloudflareブログと開発者向けドキュメントで試す
当社の開発者向けドキュメントとブログでこの機能を有効にし、すべてのAIクローラーとエージェントがHTMLの代わりにMarkdownを使用して当社のコンテンツを消費することを招待しています。
Accept: text/markdown を付けてこのブログをリクエストすることで、今すぐ試してください。
curl https://blog.cloudflare.com/markdown-for-agents/ \ -H "Accept: text/markdown"
--- description: オンラインでのコンテンツ発見の方法は、従来の検索エンジンから、人間向けに構築されたWebから構造化データを必要とするAIエージェントへと移行しています。人間の訪問者だけでなく、エージェントを第一級市民として扱い始める時です。エージェント向けMarkdownは、当社のネットワークからリクエストされた任意のHTMLページを自動的にMarkdownに変換します。 title: エージェント向けMarkdownの導入 image: https://blog.cloudflare.com/images/markdown-for-agents.png --- # エージェント向けMarkdownの導入 オンラインでコンテンツやビジネスが発見される方法は急速に変化しています。かつては、トラフィックは従来の検索エンジンから発生し、SEOが誰が最初に見つかるかを決定していました。現在では、トラフィックはますますAIクローラーやエージェントから来るようになっており、それらは人間向けに構築された、しばしば非構造化されたWeb内の構造化データを要求します。 ...
Markdownに変換する他の方法
Cloudflare外部からの任意のドキュメント変換を必要とするAIシステムを構築している場合、またはコンテンツソースから「エージェント向けMarkdown」が利用できない場合は、アプリケーション用にドキュメントをMarkdownに変換する他の方法を提供しています：
Workers AI AI.toMarkdown() は、HTMLだけでなく複数のドキュメントタイプと要約をサポートします。
ブラウザレンダリング /markdown REST API は、動的なページやアプリケーションを変換前に実際のブラウザでレンダリングする必要がある場合に、Markdown変換をサポートします。
Markdown使用状況の追跡
AIシステムがWebを閲覧する方法の変化を見越して、Cloudflare Radarには現在、AIボットとクローラートラフィックのコンテンツタイプに関する洞察が含まれており、AIインサイトページのグローバルなデータと、個々のボット情報ページの両方で確認できます。
新しい content_type ディメンションは、AIボットとクローラーによってリクエストされたコンテンツの種類（HTML、Markdown、JSONなど）を表示します。これは、AIボットがどのようにWebを閲覧しているかを理解するのに役立ちます。
特定のエージェントやクローラーでフィルタリングされたMarkdownへのリクエストも確認できます。以下は、ChatGPTの検索を強化するためにOpenAIが使用するクローラー、OAI-Searchbotに対してMarkdownを返すリクエストです：
この新しいデータにより、AIボット、クローラー、エージェントが時間の経過とともにどのようにWebコンテンツを消費しているかの進化を追跡できるようになります。いつものように、Radar上のすべては公開APIとデータエクスプローラーを通じて自由にアクセスできます。
今日から使い始める
ゾーンで「エージェント向けMarkdown」を有効にするには、Cloudflareダッシュボードにログインし、アカウントを選択、ゾーンを選択し、クイックアクションを探して「エージェント向けMarkdown」ボタンを切り替えて有効にします。この機能は本日ベータ版として、Pro、Business、Enterpriseプラン、およびSSL for SaaSのお客様に無料で利用可能です。
「エージェント向けMarkdown」の詳細については、開発者向けドキュメントでご覧いただけます。この機能を改良し強化し続けるにあたり、皆様のフィードバックをお待ちしています。Webの非構造化された性質が進化する中で、AIクローラーやエージェントがどのようにナビゲートし適応していくのか、興味深く見守っています。
原文を表示
Introducing Markdown for Agents
Celso Martinho
Will Allen
The way content and businesses are discovered online is changing rapidly. In the past, traffic originated from traditional search engines, and SEO determined who got found first. Now the traffic is increasingly coming from AI crawlers and agents that demand structured data within the often-unstructured Web that was built for humans.
As a business, to continue to stay ahead, now is the time to consider not just human visitors, or traditional wisdom for SEO-optimization, but start to treat agents as first-class citizens.
Why markdown is important
Feeding raw HTML to an AI is like paying by the word to read packaging instead of the letter inside. A simple ## About Us
About Us
This blog post you’re reading takes 16,180 tokens in HTML and 3,150 tokens when converted to markdown. That’s a 80% reduction in token usage.
Markdown has quickly become the lingua franca for agents and AI systems as a whole. The format’s explicit structure makes it ideal for AI processing, ultimately resulting in better results while minimizing token waste.
The problem is that the Web is made of HTML, not markdown, and page weight has been steadily increasing over the years, making pages hard to parse. For agents, their goal is to filter out all non-essential elements and scan the relevant content.
The conversion of HTML to markdown is now a common step for any AI pipeline. Still, this process is far from ideal: it wastes computation, adds costs and processing complexity, and above all, it may not be how the content creator intended their content to be used in the first place.
What if AI agents could bypass the complexities of intent analysis and document conversion, and instead receive structured markdown directly from the source?
Convert HTML to markdown, automatically
Cloudflare's network now supports real-time content conversion at the source, for enabled zones using content negotiation headers. Now when AI systems request pages from any website that uses Cloudflare and has Markdown for Agents enabled, they can express the preference for text/markdown in the request. Our network will automatically and efficiently convert the HTML to markdown, when possible, on the fly.
Here’s how it works. To fetch the markdown version of any page from a zone with Markdown for Agents enabled, the client needs to add the Accept negotiation header with text/markdown
Here's a curl example with the Accept negotiation header requesting a page from our developer documentation:
curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ \ -H "Accept: text/markdown"
Or if you’re building an AI Agent using Workers, you can use TypeScript:
const r = await fetch( https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/, { headers: { Accept: "text/markdown, text/html", }, }, ); const tokenCount = r.headers.get("x-markdown-tokens"); const markdown = await r.text();
We already see some of the most popular coding agents today – like Claude Code and OpenCode – send these accept headers with their requests for content. Now, the response to this request is formatted in markdown. It's that simple.
HTTP/2 200 date: Wed, 11 Feb 2026 11:44:48 GMT content-type: text/markdown; charset=utf-8 content-length: 2899 vary: accept x-markdown-tokens: 725 content-signal: ai-train=yes, search=yes, ai-input=yes --- title: Markdown for Agents · Cloudflare Agents docs --- ## What is Markdown for Agents The ability to parse and convert HTML to Markdown has become foundational for AI. ...
Note that we include an x-markdown-tokens
Here’s a diagram of how it works:
Content Signals Policy
During our last Birthday Week, Cloudflare announced Content Signals — a framework that allows anyone to express their preferences for how their content can be used after it has been accessed.
When you return markdown, you want to make sure your content is being used by the Agent or AI crawler. That’s why Markdown for Agents converted responses include the Content-Signal: ai-train=yes, search=yes, ai-input=yes
Check our dedicated Content Signals page for more information on this framework.
Try it with the Cloudflare Blog & Developer Documentation
We enabled this feature in our Developer Documentation and our Blog, inviting all AI crawlers and agents to consume our content using markdown instead of HTML.
Try it out now by requesting this blog with Accept: text/markdown
curl https://blog.cloudflare.com/markdown-for-agents/ \ -H "Accept: text/markdown"
--- description: The way content is discovered online is shifting, from traditional search engines to AI agents that need structured data from a Web built for humans. It’s time to consider not just human visitors, but start to treat agents as first-class citizens. Markdown for Agents automatically converts any HTML page requested from our network to markdown. title: Introducing Markdown for Agents image: https://blog.cloudflare.com/images/markdown-for-agents.png --- # Introducing Markdown for Agents The way content and businesses are discovered online is changing rapidly. In the past, traffic originated from traditional search engines and SEO determined who got found first. Now the traffic is increasingly coming from AI crawlers and agents that demand structured data within the often-unstructured Web that was built for humans. ...
Other ways to convert to Markdown
If you’re building AI systems that require arbitrary document conversion from outside Cloudflare or Markdown for Agents is not available from the content source, we provide other ways to convert documents to Markdown for your applications:
Workers AI AI.toMarkdown() supports multiple document types, not just HTML, and summarization.
Browser Rendering /markdown REST API supports markdown conversion if you need to render a dynamic page or application in a real browser before converting it.
Tracking markdown usage
Anticipating a shift in how AI systems browse the Web, Cloudflare Radar now includes content type insights for AI bot and crawler traffic, both globally on the AI Insights page and in the individual bot information pages.
The new content_type
You can also see the requests for markdown filtered by a specific agent or crawler. Here are the requests that return markdown to OAI-Searchbot, the crawler used by OpenAI to power ChatGPT’s search:
This new data will allow us to track the evolution of how AI bots, crawlers, and agents are consuming Web content over time. As always, everything on Radar is freely accessible via the public APIs and the Data Explorer.
Start using today
To enable Markdown for Agents for your zone, log into the Cloudflare dashboard, select your account, select the zone, look for Quick Actions and toggle the Markdown for Agents button to enable. This feature is available today in Beta at no cost for Pro, Business and Enterprise plans, as well as SSL for SaaS customers.
You can find more information about Markdown for Agents on our Developer Docs. We welcome your feedback as we continue to refine and enhance this feature. We’re curious to see how AI crawlers and agents navigate and adapt to the unstructured nature of the Web as it evolves.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み