OpenRouter、プロンプトキャッシュと固定ルーティングを発表

記事の3ポイント

1. 1

   プロンプトキャッシングのコスト構造

   キャッシュ読み取りは新規入力トークンの 0.1 倍から 0.5 倍の価格で処理されるが、書き込み（特に Anthropic の場合）は 1.25 倍〜2.0 倍の高コストとなるため、再利用されない場合は不利益が生じる。

2. 2

   ステッキルーティングによるキャッシュ維持

   セッション内の後続リクエストが異なるプロバイダーに分散するとキャッシュが無効化されるリスクがあるため、OpenRouter はセッション ID を用いて同一プロバイダーへ固定するルーティングを実装している。

3. 3

   キャッシュミス発生の要因と確認方法

   プロンプトが短すぎる場合や TTL 切れ、あるいはリクエスト先の変更などがキャッシュミスを招くため、開発者はレスポンス内の cached_tokens フィールドを確認して有効性を検証する必要がある。