コーディングアシスタントのセッション間個人化曖昧性適応をベンチマーク

記事の3ポイント

1. 1

   新タスク「CAPA」の定義

   既存の単発曖昧さ解消とは異なり、ユーザーの過去解決履歴を記憶として活用し、新規セッションでの反復する個人固有の曖昧さを最小限の質問で解決する新しいベンチマークタスクを提唱している。

2. 2

   評価データセット「CAPA」の構築

   6 つのメカニズムを通じてコード生成タスクに個人固有の曖昧さを注入し、60 人のユーザーによる 600 セッション（そのうち 300 セッションは評価用）からなる厳密なデータセットを構築した。

3. 3

   12 の LLM における性能評価

   履歴情報なしと同一ユーザーの履歴ありという二つの条件で 12 の最新大規模言語モデルを評価し、実行成功率や完了までのターン数などの指標を用いて分析を行った。