Why we're rethinking cache for the AI era｜AI時代におけるキャッシュの再考理由

AIクローラーは、検索拡張生成（RAG）やリアルタイム要約などのライブアプリケーションを駆動するため、低レイテンシが重要です。そのため、これらのリクエストは、より大きな容量と適度な応答時間をバランス良く提供できるキャッシュ層にルーティングされるべきです。これらのキャッシュは鮮度を保つべきですが、人間向けのキャッシュよりもわずかに高いアクセスレイテンシは許容できます。 AIクローラーは、トレーニングセットの構築や大規模なコンテンツ収集ジョブの実行にも使用されます。これらのワークロードは大幅に高いレイテンシを許容し、時間制約はありません。そのため、これらのリクエストは、到達までに時間がかかる深いキャッシュ階層（例：オリジン側のSSDキャッシュ）から提供したり、バックエンドの過負荷を防ぐためにキュー型アドミッションやレートリミッターを使用して遅延させたりすることができます。これにより、インフラに負荷がかかっている際に、対話型の人間やAIのユースケースに影響を与えることなく、一括スクレイピングを延期する機会も生まれます。 CloudflareのAI IndexやMarkdown for Agentsなどの既存のプロジェクトは、ウェブサイト運営者が既知のAIエージェントやボットに対して、簡略化または縮小版のウェブサイトを提示できるようにします。私たちは、AIトラフィックがCDNキャッシュに与える影響を軽減し、すべてのユーザーにとってより良いキャッシュパフォーマンスを実現するために、さらに多くの取り組みを計画しています。ETH Zurichの研究者チームとともに、私たちは2つの相補的なアプローチを実験しています。第一に、AIを意識したキャッシングアルゴリズムによるトラフィックフィルタリング。第二に、AIクローラートラフィックを、AIクローラーと人間のトラフィックの両方のパフォーマンスを向上させるキャッシュ層へ導く、まったく新しいキャッシュレイヤーの追加を探求しています。 ストレージキャッシュが、新しい要素を追加する必要がありキャッシュがいっぱいになったときに、キャッシュから要素を削除（エビクト）する方法を決定するキャッシュ置換アルゴリズムには、LRU（「Least Recently Used」）、LFU（「Least Frequently Used」）、FIFO（「First-In, First-Out」）など、いくつかの異なるタイプがあります。LRUは、一般的な状況において、シンプルさ、低オーバーヘッド、有効性のバランスが最も良く、広く使用されています。しかし、人間とAIボットの混合トラフィックに対しては、私たちの初期実験では、特にSEIVEやS3FIFOなどの異なるキャッシュ置換アルゴリズムを選択することで、AIの干渉の有無にかかわらず、人間のトラフィックが同等のヒット率を達成できる可能性があることを示しています。私たちはまた、より直接的にワークロードを意識した機械学習ベースのキャッシングアルゴリズムを開発し、より高速で低コストなキャッシュを実現するために、キャッシュの応答をリアルタイムでカスタマイズする実験も行っています。 長期的には、AIトラフィック用の別個のキャッシュレイヤーが最良の道筋になると予想しています。人間とAIのトラフィックを、ネットワークの異なる層にデプロイされた別々のキャッシュ階層にルーティングするキャッシュアーキテクチャを想像してください。人間のトラフィックは、応答性とキャッシュヒット率を優先する、CDN PoPに位置するエッジキャッシュから引き続き提供されます。AIトラフィックについては、キャッシュ処理はタスクタイプによって異なる可能性があります。 これはほんの始まりに過ぎません AIボットトラフィックがクラウドインフラストラクチャに与える影響は、今後数年間でさらに大きくなるでしょう。世界中のCDNへの影響をより適切に特徴づけ、この新しいワークロードに対処し、より良いインターネットの実現に貢献するための、大胆な新しいキャッシュポリシーとアーキテクチャが必要です。 Cloudflareは、ここで述べた問題の解決にすでに取り組んでいます。Cloudflareは、AIを意識したキャッシングにより、高いボットトラフィックを経験するお客様の帯域幅コストを削減し、AI Crawl ControlやPay Per Crawlなどのツールにより、お客様が誰がプログラム的にコンテンツにアクセスするかをより良く制御できるようにします。 私たちはこの分野の探求を始めたばかりです。新しいMLベースのキャッシングアルゴリズムを構築したり、これらの新しいキャッシュアーキテクチャを設計することに興味がある方は、インターンシップに応募してください！2026年夏と秋に、この問題や、AIとシステムの交差点にある他のエキサイティングな問題に取り組むためのインターンシップポジションを開設しています。

AI時代におけるキャッシュの再考理由

背景や根拠まで確認しますか？

調べる

選ぶ

サイト