Apple、LLM の回答完全性を評価する「DeepAmbigQA」ベンチマークを公開

記事の3ポイント

1. 1

   既存ベンチマークの課題指摘

   統合検索ツールを持つ大規模言語モデルは複雑な質問に直面すると不完全な回答を生成しがちだが、既存の QA ベンチマークでは複数の映画タイトルや多数の俳優への推論といった課題を同時に評価していない。

2. 2

   DEEPAMBIGQAGEN の導入

   同チームは複雑な質問に対する回答の完全性を評価するための自動データ生成パイプライン「DEEPAMBIGQAGEN」を開発し、多様なシナリオを含む QA データセットを構築する。

3. 3

   具体的な評価課題の例示

   評価対象となる質問の具体例として、「映画『ヒート』に出演した俳優でアカデミー賞を受賞した者は誰か」という問いが挙げられ、タイトルや人物の特定と推論の統合が必要である。