Airbnb、LLM評価を数週から1日へ短縮し高速化を実現

記事の3ポイント

1. 1

   評価ノイズの二重不確実性の定義

   LLM 評価におけるノイズは、モデルや判定者の限界による「認知的不確実性」と、タスク自体の曖昧さによる「偶然的不確実性」の2つの源泉に起因すると特定し、それぞれを別個に診断・対策する必要があると指摘する。

2. 2

   4層構成の信頼できるインフラ構築

   Airbnb は評価ノイズの定式化、エンジニアリング強化、およびこれらを統合する統合レイヤーからなる4層構造を構築し、個々のコンポーネントが正常でも全体として機能しない「継ぎ目」の問題に対処した。

3. 3

   統計的有意性だけでは不十分

   t-テストなどの形式化された検定で有意であっても、判定者の入れ替えやメトリックのバージョン変更によって結果が反転する場合は、実用的な改善とは見なさないという厳格な基準を設けた。