Ai2のオープン後学習スタックを用いた望ましくないモデル挙動の追跡事例

記事の3ポイント

1. 1

   好ましくない行動のデバッグ難易度

   プレファレンス学習はモデル全体の性能を向上させる一方で、特定の文脈でのセーフガードを弱めるなどの予期せぬ副作用を引き起こす可能性があり、その原因特定が極めて困難である。

2. 2

   Ai2 オープンスタックによる実証

   Goodfire は Ai2 が公開する完全なトレーニングパイプライン（データ、中間チェックポイント、レシピ）を利用し、学習前に行動変化を予測し、観測されたセーフガードの劣化を個々の学習例にまで遡って追跡した。

3. 3

   targeted 修正の実行可能性

   研究者は広範な能力向上を犠牲にすることなく、特定の望ましくない行動を減少させるための標的型変更をテストし、その有効性を確認することに成功した。