エージェントにおけるプロンプトキャッシングの仕組みと課題

記事の3ポイント

1. 1

   コーディングエージェントの非効率な構造

   コーディングエージェントはセッションが進むにつれてシステムプロンプトやツール定義などの大部分を再利用するが、現状では毎回全トークンを再計算するため、トークン数が膨大になると遅延とコストが深刻化する。

2. 2

   KV キャッシュの仕組みと限界

   Transformer モデルは入力トークンのキーと値（KV）を保持して再計算を防ぐが、ツール定義の変更やモデル切り替えが発生するとキャッシュが無効化され、全コンテキストの再計算という高コストな挙動に陥る。

3. 3

   設計への波及効果

   プロンプトキャッシュは単なる実装最適化ではなく、レイテンシやコストだけでなく、ツールの設計方針、セッション管理、および提供すべき機能の選定までを左右する重要な要素となる。