動画記事 · AI Engineer
Kubernetes 上で KV キャッシュ対応ルーティングと P/D 非同期化
AI Engineer動画 22分 / 読む 9分
#LLM#Kubernetes#KV Cache#P/D Disaggregation#Red Hat
動画の文字起こしと公開情報をもとにAIで要約・構成しています。 正確な発言は元動画と時間位置で確認してください。
30秒でわかる
Red Hat は、エージェントワークロード向けに KV キャッシュ対応ルーティングと P/D 非同期化を Kubernetes で実装し、コスト削減とレイテンシ改善を実現する。
この動画の3ポイント
エージェントワークロードの特性
多段対話や文脈の大幅な変動により、従来のバッチ処理モデルでは KV キャッシュ管理が困難になり、キャッシュヒット率とレイテンシの最適化が重要視される。
KV キャッシュ対応ルーティング
エンドポイントピッカープラグインが KV キャッシュの局所性と負荷を評価し、システムプロンプトの再利用性を最大化する最適なポッドへリクエストをルーティングする。
P/D 非同期化アーキテクチャ
プリフィル（計算集約）とデコード（メモリ帯域集約）を物理的に分離し、相互干渉を防ぎつつそれぞれ独立してスケーリングすることで、システム全体の安定性を高める。
なぜ重要か
LLM エージェントの普及に伴い、推論インフラは単なるスループット追求から、複雑な対話パターンへの適応とコスト効率（キャッシュ活用）へとシフトを迫られている。Red Hat のアプローチは、Kubernetes 上で分散推論を柔軟に制御する標準的なパターンを示し、大規模なエージェント運用の現実的な解決策として注目される。
発言から確かめる
時間を選ぶと、元動画の該当箇所を開きます。
背景や実装の詳細まで読みますか？
約22分の動画を、約9分の記事で確認できます。
Original Source
元動画で発言を確認
プレイヤーは必要になるまで読み込みません。YouTubeのCookieと通信も再生を選ぶまで開始しません。