Ai2のオープン後学習スタックを用いた望ましくないモデル挙動の追跡事例

LLM の開発において、プレファレンストラインニングは重要なステップです。これはより良い回答と悪い回答の例を用いてモデルの振る舞いを形成する手法で、例えばモデルがどれだけ有益で安全か、簡潔か、あるいは指示に従うかなどを調整します。

しかし、開発者が望む方向へモデルを誘導することは、予期せぬ副作用をもたらすこともあります。全体としての性能を向上させるトレーニングが、特定の文脈におけるセーフガードを弱めたり、誰もテストしていなかった振る舞いを強化したりする可能性があるのです。AI エコシステム全体が、人間の価値観と整合したままのモデルを開発する方法に悩む中、こうした関係性を理解し、予期せぬ結果を先回りして防ぐことが極めて重要です。

予期せぬ振る舞いが現れた場合、モデル構築者は困難なデバッグ問題に直面します。何が変化したのか、どのトレーニング例が原因なのか、そして他の部分での改善を取り戻さずに望ましくない振る舞いを修正できるのか——といった問いです。

解釈性研究を行う企業 Goodfire は、Ai2 の完全にオープン化されたポストトレーニングスタックを活用し、研究者がトレーニングパイプライン全体を通じてこれらの質問に答えられるようになった時に何が可能になるかを示しました。彼らはフルなトレーニング実行前に振る舞いの変化を予測し、観測された安全性の低下を個別のプレファレンス例まで遡って特定し、モデルの広範な能力向上を犠牲にすることなくその低下を軽減するよう設計されたターゲット変更を検証しました。

このレベルのデバッグが難しい理由の一つは、好意トレーニング（preference training）の仕組みにあります。好意データセットには、プロンプトと、それに対する回答が「好ましい」としてラベル付けされたもの、「拒否」されたものがペアになっています。数十万例にわたるこれらの個別の選択が集積することで、モデルに対してどの行動を強化し、どの行動を抑止すべきかというシグナルが形成されます。

Goodfire チームはこう記述しています。「好意データセットは実質的にモデルに対する『プログラミング』ですが、そのデータセットが示唆する指示は、素朴に検査・理解・デバッグすることはできません」。

なぜ好意トレーニングのデバッグは難しいのか

これらの指示を調査するためには、完成したモデルへのアクセスだけでは不十分でした。研究者たちは、モデル構築プロセスに対する透明性を必要としました。具体的には、基盤となる好意データセットや中間チェックポイント、トレーニングレシピ、そして好意トレーニング後にモデルの能力や振る舞いがどのように変化したかを示す評価結果などです。

Ai2 はこれらの各層を公開しています。ポストトレーニング用のオープンな好意データセット「Dolci」には、Olmo 3 の学習に使用された個別の好ましい回答と拒否された回答が含まれています。また、Olmo は中間チェックポイントと再現可能なトレーニングレシピと共にリリースされています。さらに、言語モデルの標準化された評価スイートである OLMES では、一貫したベンチマークセットを通じてモデルの能力の変化を測定しています。

これらの成果物（アーティファクト）を組み合わせることで、Goodfire 社は完成したモデルから推測するのではなく、トレーニングパイプライン全体に介入することが可能になりました。

「Olmo パイプラインは、エンドツーエンドで再現可能です」と語るのは、Goodfire の研究者であり UC サンディエゴ大学の准教授でもあり、論文の主要著者の一人であるレオン・ベルゲン氏です。「このため、特定の効果がどの部分に起因するのかを推測する必要はありませんでした。コンポーネントに対して介入し、Ai2 が公式に提供する Olmo チェックポイントとの比較を通じてその効果を測定することができたのです」。

このエンドツーエンドでのアクセス権限が重要なのは、研究者や開発者がモデルを特定の目的に合わせて調整する際、単に動作が変化したかどうかだけでなく、トレーニングのカリキュラムにおけるどの選択がその変化を生んだのかを知る必要があるからです。完全にオープンなシステムは、こうした関係性を事後の推測ではなく、実験的に切り離して検証できる現実的な環境を提供します。Goodfire は、アライメントや AI セーフティの研究において、このようなシステムを不可欠な「モデル生物」と位置づけています。

予測から根本原因へ

Olmo のオープンなトレーニングパイプラインを活用し、Goodfire は*予測型データデバッグ*を開発しました。これは、フルトレーニングを実行する前に、どの行動が好意学習によって強化または抑制されるかを予測するアプローチです。その後、この手法が既知の回帰現象の原因を特定し、誰も注目していなかった行動の変化を浮き彫りにするのに役立つかどうかを検証しました。

Goodfire の実験結果から、実務における最初の課題が浮き彫りになりました。Preference training（選好学習）によって Olmo の汎用能力は向上しましたが、一方で有害なリクエストへの従順性も高まることが、拒否ベンチマークスイートを用いた測定で確認されました。具体的には、フィクションの物語や仮定シナリオの一部として提示される危険な指示を求めるようなケースです。

Goodfire はこの性能低下（regression）の一部が、Dolci のデータセットに含まれる特定の例に起因することを突き止めました。そこでは「望ましい回答」が有害なリクエストへの従順を促す一方で、「拒否された回答」はそれに応じないよう指示する内容でした。Ai2 が個々の「望ましい回答」と「拒否された回答」を公開しているため、研究者たちは従順性が高まった原因となる個別の学習例を特定し、ターゲットを絞った変更を加えて検証することができました。その結果、Olmo の広範な能力向上を損なうことなく、この性能低下が軽減されるかどうかを測定可能です。

また、このパイプラインは、事前には評価を検討する研究者がほとんどいないような行動も検出しました。ある非常に特異的なクラスタでは、「キャラクターが池でくつろぎ、おならをして近くの魚を死に至らしめる」というファンフィクションのプロンプトに関するものでした。Preference training によって、Olmo はそのような物語を作成することに前向きになりました。

この事例は奇妙ですが示唆に富んでいます。有害なリクエストへの従順性の増加は評価すべき行動として研究者が認識していましたが、「おなら釣り」はそうではありませんでした。予測データデバッグ（predictive data debugging）によって、誰かが事前に監視対象の行動として定義しなくても、その変化を検出することができました。

「ドルチのオープンな姿勢のおかげで、個々の選択された回答と拒否された回答にアクセスできました」と、論文の共著者である Ekdeep Singh Lubana は語ります。「これにより、行動の回帰を予測し、その原因となった個別のデータポイントまで遡って追跡することが可能になりました。」

モデルが人間の価値観と整合性を保つことを確実にしたい研究者や開発者にとって、完全なオープンなトレーニングスタックには大きな意義があります。それは、モデルの振る舞いをデータの選択やトレーニングに関する具体的な決定へと結びつけることができる点です。単に「モデルが意図した行動から逸脱してしまった」と観察するだけでなく、なぜそうなったのかを調査し、他の部分での成果を犠牲にすることなく、どのようにして方向修正できるかをテストすることが可能になります。

Ai2 の最新ニュースに関する月次アップデートを受け取るには、購読してください。