大規模言語モデルのシステムプロンプト監査フレームワーク「AISPA」を提案

記事の3ポイント

1. 1

   ユーザー中心の監査フレームワーク「AISPA」の提案

   開発者が設定するシステムプロンプトの信頼性と説明責任のギャップを埋めるため、8 つのユーザー重視の次元に基づいてプロンプトを評価する枠組みが導入された。

2. 2

   商用製品におけるプロンプト設計の多様性と不均衡

   製品や開発者間でシステムプロンプトの設計に大きなばらつきがあり、保護指示の平均数が製品ごとに 60 を超えるケースもあれば 5 に満たないケースもあることが判明した。

3. 3

   保護機能の普及と範囲の浅さ

   98.9% の製品が少なくとも1つの保護指示を含んでいるものの、AISPA が定義する8 つの次元すべてをカバーしているのはわずか 24% に過ぎない。