LLM エージェントの物語一貫性評価ベンチ「NCP-Bench」を公開

記事の3ポイント

1. 1

   対話型物語における整合性課題の定式化

   既存研究が軽視していた、制約のないユーザー介入に対する長期的な論理的整合性と物語の一貫性の維持を「Narrative Commitment Preservation (NCP)」として定義した。

2. 2

   映画シノプシス由来のベンチマーク「NCP-Bench」

   100 の環境から構成されるベンチマークを導入し、プレイヤーエージェントとナレーターエージェント間の対話を通じて構造化された物語仕様を自動検証可能にした。

3. 3

   高品質言語生成と整合性維持の乖離

   実験結果により、高い言語品質が必ずしもコミットメントの維持を保証しないことが示され、敵対的介入下では強力なモデルでも論理的に矛盾する内容を生成しやすいことが判明した。