LLM は A/B テストで人間の結果を代替できるか

記事の3ポイント

1. 1

   LLM による代替は設計ではなく仮定に依存する

   ランダム化実験が因果関係を特定できるのは設計によるものだが、LLM 予測への置き換えはその保証を失い、結果の妥当性は特定の仮定にのみ依存することになる。

2. 2

   生データのバイアスと効果量の過小評価

   gpt-4o-mini を用いた検証では、生の LLM 予測値をそのまま使用すると実際の人間の処理効果の 39% しか回復できず、治療効果が実際よりも半分以下であると誤って結論付ける結果となった。

3. 3

   バイアスの性質と条件の検証困難性

   LLM の出力は単なるノイズではなくゼロ方向への系統的なバイアス（減衰）を示し、新しい実験が過去のデータから遠ざかるほどこの手法の有効性を裏付ける条件は成立しにくくなる。