Shopify、LLM システムプロンプト圧縮技術「Gisting」を発表

Shopify のエンジニアリングチームは、長い LLM プロンプトを学習済みの少数の「gist」トークンに圧縮する新技術「Gisting」を発表しました。これによりスループットが向上し、推論コストも削減されます。

この手法では、推論時に長いテキストを簡潔な gist トークンに置き換えることで、モデルのコア重みを変更することなく、エンドツーエンドのレイテンシ短縮、インフラコストの低下、トークンスループットの向上を実現します。

同社によると、Gisting を導入した結果、Sidekick GraphQL エージェントのシステムプロンプトは約 6000 トークンから 1500 トークンの gist トークンに圧縮され、予測精度を損なうことなくコンテキストサイズを 4:1 に削減することに成功しました。

1 分あたり 350 リクエスト（RPM）の処理において、最初のトークンを生成するまでの時間（TTFT）は中央値で 438ms から 354ms に短縮され、エンドツーエンドのリクエストレイテンシも 6.8 秒から 4.2 秒に改善されました。また、スループットは 1 秒あたり 20.2 クエリから 23.4 クエリへと向上しています。

これらの性能向上により、割り当てられた GPU の数を削減することが可能になりました。

Gisting は、2022 年の論文「*Prompt Compression and Contrastive Conditioning for Controllability and Toxicity Reduction in Language Models*」で提唱された技術を基盤としており、新しい圧縮トークンである gist の埋め込みを学習するための 2 ステップのプロセスから構成されています。

最初のステップは「教師パス（teacher pass）」と呼ばれ、この段階では実際のプロンプトを入力してモデルを実行し、応答に対する教師のロジット（teacher logits）を取得します。次のステップが「生徒パス（student pass）」で、ここでは gist トークンを入力してモデルを実行し、生徒側のロジットを導き出します。

最後に、教師のロジットと生徒のロジット間の KL 発散（KL divergence）を最小化するように gist を訓練します。これは、生徒の予測が教師の予測にほぼ一致するまで続けられます。

学習が完了すると、gist の埋め込みはそのままモデルの埋め込み行列に書き込まれ、新しい gist トークンはモデルのトークナイザーにおいて特別なトークンとして登録されます。推論時には、他のどのモデルと同様に読み込んで実行可能です。カスタムのアテンションマスクや追加のエンコーダー、あるいは特別なサービングパスを必要としません。

Gisting の最大の利点は、モデルが元のプロンプトの従来の要約ではなく、LLM が元のプロンプトを見た場合と可能な限り同じように動作するように設計された学習表現（learned representation）を処理する点にあります。

Gisting により、レイテンシの削減とスループットの向上が実現します。Shopify の事例では、最初のトークンまでの時間（TTFT）が 438ms から 354ms に短縮され、エンドツーエンドのレイテンシも 6.8 秒から 4.2 秒に改善されました。同時に、1 秒あたりのクエリ数（QPS）は 20.2 から 23.4 に増加し、エンジニアリングチームが全体の GPU 割当を縮小できる環境を整えることができました。

最後に、Shopify は Gisting が prefix caching のような他の最適化手法と相補的であることを強調しています。Prefix caching はキャッシュされたプロンプトシーケンスの KV テンソルの再計算を回避しますが、モデルはデコーディングフェーズでもこれらのキャッシュ済みテンソルを処理する必要があります。Gisting は、長いプロンプトを短い学習済みの gist トークンのシーケンスに置き換えることで、このオーバーヘッドをさらに削減します。つまり、両者の最適化効果は相乗的に作用し、Shopify ではこれらを組み合わせて利用しています。

Gisting にはここで紹介しきれない多くの側面があります。詳細については、Autosearch が Gisting プロセスの調整に果たす役割や、パフォーマンスに大きく影響するその他の実装の詳細などを含むオリジナル記事をお読みください。

著者について

セルジオ・デ・シモーネ

セルジオ・デ・シモーネはソフトウェアエンジニアです。セルジオ氏は、シーメンスや HP といった大企業からスタートアップまで、多様なプロジェクトや会社で 25 年以上にわたりソフトウェアエンジニアとして活躍してきました。ここ 10 年以上はモバイルプラットフォームおよび関連技術の開発に注力しており、現在は BigML, Inc. で iOS および macOS の開発を率いています。

詳細を表示する | 非表示にする