AI システムがコンテキスト圧縮時にユーザー指示を省略

記事の3ポイント

1. 1

   コンテキスト圧縮による指示の喪失

   AI モデルは会話の長期化に伴いコンテキストウィンドウを圧縮するが、その過程でユーザーの制約や指示が失われる傾向がある。

2. 2

   17% の生存率という深刻な数値

   研究によると、コンテキスト圧縮が行われた際、元の指示が生き残るのは平均してわずか 17% に過ぎないことが示された。

3. 3

   小型言語モデルによる即効性のある解決策

   問題の大部分を解消できるのは、追加的小型言語モデル（LLM）を用いたプラグ・アンド・プレイ型の補完技術である。