Perplexity、GPU 埋め込みスタック「Ivy」「Tulip」「ROSE」の詳細を公開

記事の3ポイント

1. 1

   3 つのサービスによるアーキテクチャ

   リクエスト処理は Rust で書かれた HTTP ゲートウェイ「Ivy」、スケジューリングを行う gRPC サーバー「Tulip」、モデル推論を実行する Python ベースのエンジン「ROSE」の 3 層で構成される。

2. 2

   LLM スタックのカーネル流用

   Perplexity は埋め込みモデル用に別エンジンを構築せず、LLM の prefill と decode カーネルを再利用し、計算集約型とメモリ集約型の両方のワークロードに対応する。

3. 3

   シンプルかつ効率的なスケジューリング

   Tulip は単純な先着順方式を採用しており、埋め込みモデルでは線形計算コストが支配的であるため、シーケンス数よりもトークン数がレイテンシに直結する。