CloudflareとETHチューリッヒがAI駆動型キャッシュ最適化のアプローチを概説
CloudflareとETH Zurichは、AI駆動のクローラーがCDNやデータベースの従来型キャッシュに与える課題を指摘し、AIを意識したキャッシュ戦略（分離階層、適応アルゴリズム、従量課金モデル）を提案している。
キーポイント
AIクローラーがキャッシュに与える課題
AI駆動のクローラーによるトラフィックが、CDNやデータベースの従来型キャッシュを圧迫し、パフォーマンスと効率に課題を生じさせている。
AIを意識したキャッシュ戦略の提案
人間ユーザーとAIサービスのパフォーマンスバランスを保ちながら、キャッシュ効率とシステム安定性を維持するための戦略が提示されている。
具体的な戦略手法
分離されたキャッシュ階層の導入、適応型アルゴリズムの採用、従量課金型のクロールモデルなど、複数のアプローチが提案されている。
影響分析・編集コメントを表示
影響分析
この記事は、AIサービスの急増に伴うインフラストラクチャの新たな課題を明確にし、CDNやデータベースのキャッシュ戦略に根本的な見直しを迫る可能性を示している。特に大規模トラフィックを扱う企業にとって、AI時代の効率的なリソース管理の指針となる重要な議論を提供している。
編集コメント
AIサービスの普及がインフラ層に与える影響を具体的に分析した点が価値ある。実装レベルの詳細は限定的だが、今後のキャッシュ戦略の方向性を示唆している。
CloudflareとETH Zurichは、AI駆動のクローラートラフィックがもたらす運用上の課題を整理し、コンテンツデリバリーネットワーク（CDN：Content Delivery Network）におけるキャッシュ効率を向上させるためのアプローチを提案しました。Cloudflareのエンジニアによると、AIボットからのトラフィックは週あたり1億リクエストを超えており、人間のブラウジング行動とは大きく異なるパターンを生み出しています。これらのパターンは、CDNおよびバックエンドインフラストラクチャ全体におけるレイテンシ、キャッシュヒット率、リソース利用率に影響を与えています。
Cloudflareのトラフィックの約3分の1は、検索エンジンクローラー、アップタイムチェッカー、AIアシスタントなど、自動化されたソースから来ています。AIクローラーが最も活発で、自己識別されたボットリクエストの約80％を占めています。これらのボットは高ボリュームの並列リクエストを発行し、取得強化生成（RAG：Retrieval-Augmented Generation）などのAIサービスをサポートするために、あまり訪問されないページにアクセスしたり、サイトを順次スキャンしたりすることがよくあります。
AIクローラーの行動は、人間のブラウジングとはいくつかの点で異なります。多くのAIクローラーは高い一意URL比率を維持し、多様なコンテンツタイプにアクセスし、キャッシュされたコンテンツを効果的に再利用しないリクエストを発行します。人間のユーザーとは異なり、AIクローラーはブラウザキャッシングやセッションの継続性を活用せず、複数の独立したインスタンスが同じコンテンツに対する重複リクエストを生成することがあります。Cloudflareのモデル化によると、AIエージェントによる反復ループは、一貫して高い一意コンテンツアクセスレベルを生み出し、エッジキャッシュ内の頻繁にリクエストされる人間のコンテンツを置き換えています。
システムエンジニアのErika S氏は、彼女のX（旧Twitter）投稿で次のように指摘しました：
RAG ループにおける 70〜100% のユニークアクセス比率は、最近のファインチューニング中に私が経験したキャッシュのチューリング（cache churn）を説明しています。AI 負荷下での LRU の失敗は、ドイツのホスティング環境に予測不可能な要素をもたらしています。
AI トラフィックは CDNs のキャッシュミス率を増加させ、Least Recently Used（LRU：直近未使用）によるキャッシュ_eviction_、キャッシュスペキュレーション、プリフェッチングなどの戦略の有効性を低下させます。シミュレートされた AI クローラーのトラフィックにより、単一の CDN ノードでキャッシュヒット率の測定可能な低下が発生し、オリジンサーバーへの負荷が増加して応答時間が遅延しました。
テクノロジーオプザーバーである BeePopCommunity は、X での投稿で広範な運用上の影響を強調しました：
AI トラフィックは、人間向けに構築された前提条件を崩壊させます。
Aerospike の CFO である Amy Lee は、LinkedIn での投稿でデータベースへのより広範な影響について説明しました：
YES! AI トラフィックは、CDN レイヤーだけでなくデータベースに至るまで、従来のキャッシュアーキテクチャを破壊しています。リクエストの 70〜100% がユニークな場合、アクセスパターンはキャッシュできるほど予測可能ではなくなります。多くのデータベースは条件が好都合な場合に良好に動作します。しかし、AI トラフィックは最適化された条件を体系的に排除しています。耐えられたのは、そもそもそれらの条件に依存していなかったものだけです。Aerospike の本番環境でこれを目撃しています：予測可能なレイテンシのテール（tail latency）を持つ 1 秒あたり 100〜200 万の混合読み書きオペレーションは、例外ではなく要件です。
これらの課題に対処するため、CloudflareとETH ZurichはAI対応のキャッシング戦略を提案しています。これには、人間とAIからのトラフィックを別々のキャッシュティアに分離すること、least frequently used（最少使用頻度）やfirst in, first out（先入れ先出し）などの置換アルゴリズムのテスト、そして動的に適応する機械学習駆動型ポリシーの探求が含まれます。構造化されたフィードやクロール課金モデルなどの補完的な対策は、キャッシュ効率を維持しつつAIのアクセスを制御するのに役立ちます。Cloudflareは、AI駆動型サービスには人間向けのトラフィックとは異なるキャッシングアプローチが必要であると強調しています。これらの提案は、ウェブサイトが人間のユーザーとAIエージェントの両方に効率的にサービスを提供するための運用上および技術的な調整の可能性を示しており、更新されたキャッシュアーキテクチャの必要性を浮き彫りにしています。
著者について
Leela Kumili
Leelaはスターバックスのシニアソフトウェアエンジニアであり、スケーラブルなクラウドネイティブシステムや分散プラットフォームの構築に深い専門知識を持っています。彼女はRewards Platform全体を通じてアーキテクチャ、納品、運用の卓越性を牽引し、システムの近代化、スケーラビリティの向上、信頼性の強化に向けた取り組みを主導しています。
技術的なリーダーシップに加え、リーラは組織内のAIチャンピオンとしても活動し、LLMベースのツールを活用して開発者の生産性やワークフローを改善する機会を特定し、AI導入におけるベストプラクティスを確立しています。彼女は本番環境で動作するシステムの構築、開発者体験の向上、そしてエンジニアが技術的および戦略的なインパクトにおいて成長できるようメンタリングすることに情熱を注いでいます。彼女の興味のある分野には、プラットフォームエンジニアリング、分散システム、開発者生産性、そして技術的ソリューションとビジネス・プロダクトの目標を結びつけることが含まれます。
原文を表示
Cloudflare and ETH Zurich have outlined the operational challenges posed by AI-driven crawler traffic and proposed approaches to improve cache efficiency in content delivery networks. Cloudflare engineers report that AI bot traffic now exceeds 10 billion requests per week, creating patterns that differ significantly from human browsing behavior. These patterns affect latency, cache hit rates, and resource utilization across CDN and backend infrastructure.
About a third of Cloudflare’s traffic comes from automated sources, including search engine crawlers, uptime checkers, and AI assistants. AI crawlers are the most active, responsible for roughly 80 percent of self-identified bot requests. These bots issue high-volume parallel requests, often accessing rarely visited pages or scanning sites sequentially to support AI services like retrieval-augmented generation.
AI crawler behavior diverges from human browsing in several ways. Many AI crawlers maintain a high unique URL ratio, access diverse content types, and issue requests that do not effectively reuse cached content. Unlike human users, AI crawlers do not leverage browser caching or session continuity, and multiple independent instances can generate repeated requests for the same content. Cloudflare modeling shows that iterative loops by AI agents create consistently high levels of unique content access, displacing frequently requested human content in edge caches
Erika S, a systems engineer, noted in her X post:
The 70-100 percent unique access ratio in RAG loops explains the cache churn I experienced during recent fine-tuning. LRU failing under AI load makes German hosting unpredictable.
AI traffic increases cache miss rates for CDNs, reducing the effectiveness of strategies such as least recently used cache eviction, cache speculation, and prefetching. Simulated AI crawler traffic caused a measurable drop in cache hit rates for a single CDN node, increasing origin server load and slowing response times.
BeePopCommunity, a technology observer, emphasized the widespread operational impact in X post:
AI traffic breaks assumptions built for humans.
Amy Lee, CFO at Aerospike, described the broader effect on databases in a LinkedIn post:
YES! AI traffic is breaking traditional cache architectures, not just at the CDN layer but all the way to the database. When 70-100 percent of requests are unique, access patterns stop being predictable enough to cache. Most databases perform well when conditions cooperate. AI traffic is systematically eliminating optimized conditions. The ones that hold up were never dependent on those conditions in the first place. We see this in production at Aerospike: 1-2 million mixed read/write operations per second with predictable tail latency is the requirement, not the exception.
To address these challenges, Cloudflare and ETH Zurich propose AI-aware caching strategies. These include separating human and AI traffic into distinct cache tiers, testing replacement algorithms such as least frequently used or first in, first out, and exploring machine learning-driven policies that adapt dynamically. Complementary measures like structured feeds or pay-per-crawl models can help control AI access while preserving cache efficiency. Cloudflare emphasizes that AI-driven services require different caching approaches than human traffic. The proposals highlight potential operational and technical adjustments for websites to serve both human users and AI agents efficiently, underscoring the need for updated cache architectures.
About the Author
Leela Kumili
Leela is a Lead Software Engineer at Starbucks with deep expertise in building scalable, cloud-native systems and distributed platforms. She drives architecture, delivery, and operational excellence across the Rewards Platform, leading efforts to modernize systems, improve scalability, and enhance reliability.
In addition to her technical leadership, Leela serves as an AI Champion for the organization, identifying opportunities to improve developer productivity and workflows using LLM-based tools and establishing best practices for AI adoption. She is passionate about building production-ready systems, enhancing developer experience, and mentoring engineers to grow in both technical and strategic impact. Her interests include platform engineering, distributed systems, developer productivity, and bridging technical solutions with business and product goals.
Show moreShow less
関連記事
Etsy、1000シャード・425TBのMySQLシャーディングアーキテクチャをVitessに移行
Etsyのエンジニアリングチームは、長年運用してきたMySQLシャーディング基盤をVitessに移行した。内部システムからVitessのvindexesを使用してシャードルーティングを移行し、データの再シャーディングや未シャーディングテーブルのシャーディングを可能にした。
Google CloudがPostgreSQLコア機能への継続的な取り組みを強調
Google Cloudは、PostgreSQLへの技術的貢献として、論理レプリケーション、アップグレードプロセス、システム安定性の向上を発表した。これはスケーラビリティや運用課題の解決を目指すコアエンジンの強化に焦点を当てている。
AI時代におけるキャッシュの再考理由
Cloudflareが、自社ネットワークの32%のトラフィックがAIアシスタントを含む自動化トラフィックであることを報告し、AIエージェントの攻撃的なリクエスト行動に対応するためキャッシュシステムの再設計を進めている。