Google Cloud、TPU で vLLM をサポートし長文多モーダル埋め込みを高速化

Google Cloud は、ベクトル検索エンジン「vLLM」に TPU のネイティブサポートを統合しました。これにより、開発者は Google Kubernetes Engine（GKE）上で高負荷な埋め込みパイプラインを弾力的にスケールできるようになりました。

Qwen3-Embedding-8B などのモデルで 15,000 トークンを超える巨大なコンテキストを扱うため、エンジニアリングチームは TPU に特化した最適化を実装しました。具体的には、ハードウェア安全なテンソルアライメントの確保、JAX/XLA コンパイルの事前ウォーミング、そしてチャンク単位でのプリフィル管理を実現するハイブリッド StepPool アーキテクチャです。

これらの改良により、参照用 GPU ベースラインと数値精度がほぼ完全に一致することが実現しました。また、開発者は AI-Hypercomputer の GitHub で公開されているセットアップレシピをすぐに活用し、高スループットな意味検索アプリケーションを構築できます。