Shopify、LLM システムプロンプト圧縮技術「Gisting」を発表

記事の3ポイント

1. 1

   Gisting 技術の概要

   Shopify が開発した Gisting は、長いプロンプトを学習済み「gist」トークンに圧縮し、モデルの重みを変更せずに推論時の効率を高める手法である。

2. 2

   具体的なパフォーマンス向上

   同社によると、Sidekick GraphQL エージェントのプロンプトサイズが約 6000 トークンから 1500 トークンに削減され、TTFT は 438ms から 354ms に短縮された。

3. 3

   学習プロセスと実装

   教師モデルのロジットと学生モデル（gist トークン使用）のロジット間の KL 発散を最小化する二段階のプロセスで学習され、埋め込み行列に直接書き込まれる。