Anyscale、Ray Serve LLM でトークン負荷意識型最適化を提案

記事の3ポイント

1. 1

   LLM リクエストルーティングの複雑性

   LLM の自己回帰的性質により、従来のマイクロサービスとは異なり、ステートフルな実行や非決定性の生成コストがルーティング判断を困難にしている。

2. 2

   KV キャッシュ再利用への依存の限界

   リクエストを同じレプリカへ振り分けて KV キャッシュを再利用する単純な最適化だけでは、入力・出力長の多様性や実行コストの不確実性を十分に処理できない。

3. 3

   トークン負荷認識型ルーティングの提案

   Anyscale Engineering は、リクエストのトークン負荷を事前に評価し、クラスタ全体のバランスを保ちながら KV キャッシュ再利用とリソース効率を両立させる新戦略を提唱している。