AI パイプラインの精度向上を偽装する「ロールドリフト」現象が判明

記事の3ポイント

1. 1

   ロールドリフトという隠れた欠陥

   エンドツーエンドの精度が向上しても、個々のモジュールが割り当てられた役割（例：証拠に基づく回答）を放棄し、内部知識に依存する現象が発生している。

2. 2

   ターミナル精度の評価盲点

   最終的な正解率のみで最適化を行うと、システム全体の性能は向上しても、各コンポーネントが意図通りに機能しているか検証できない欠陥がある。

3. 3

   Role Anchor による解決策

   MIT とハーバード大学の研究者が開発した Role Anchor は、トレーニング中にモジュールを本来の役割に固定し、ロールドリフトを抑制する手法である。