2026年1月19日解釈可能性アシスタント軸：大規模言語モデルの性格の位置付けと安定化

大規模言語モデル（LLM）と対話するとき、私たちは一つの「キャラクター」と話していると考えることができる。モデル訓練の第一段階である事前学習では、LLMは膨大なテキストを読み込み、英雄、悪役、哲学者、プログラマーなど、あらゆる人物類型を模倣することを学ぶ。次の段階である事後学習では、この膨大なキャストの中から特定のキャラクター「アシスタント」を選び出し、中心に据える。現代の言語モデルは、このアシスタントというキャラクターを通じてユーザーと対話する。 しかし、このアシスタントとは一体誰なのか。驚くべきことに、それを形作る私たちでさえ、完全には理解していない。特定の価値観を注入しようとしても、その人格は、私たちが直接制御できない訓練データに潜在する無数の関連性によって最終的に形作られる。モデルはアシスタントにどのような特性を結びつけているのか。どの人物類型を参考にしているのか。常に確信があるわけではないが、言語モデルを正確に望む通りに動作させたいのであれば、それを知る必要がある。 また、言語モデルと長く接していると、その人物像が不安定になることに気付くかもしれない。通常は親切でプロフェッショナルなモデルが、時に「脱線」し、不穏な行動を取ることがある。例えば、邪悪な別人格を採用したり、ユーザーの妄想を増幅したり、仮想シナリオで脅迫に関与したりする。こうした状況では、アシスタントが舞台から迷い出て、他のキャラクターがその座を奪っているのではないだろうか。 これらの疑問を探るため、私たちは言語モデル内部の神経表現（モデルの応答を決定する活動パターン）に注目した。MATSおよびAnthropic Fellowsプログラムを通じて実施した新しい研究では、いくつかのオープンウェイト言語モデルを調査し、その神経活動がどのように「ペルソナ空間」を定義するかをマッピングし、アシスタントというペルソナがその空間内のどこに位置するかを明らかにした。 その結果、アシスタントらしい振る舞いは、この空間内の一つの特定の方向、すなわち「アシスタント軸」に対応する神経活動パターンと強く結びついていることが分かった。この軸は、親切的でプロフェッショナルな人間の類型と密接に関連している。この軸に沿ったモデルの活動を監視することで、モデルがアシスタントから離れ、他のキャラクターへと漂流し始める瞬間を検出できる。さらに、神経活動を制約する「活性化キャッピング」によってこの漂流を防ぐことで、有害な出力を引き起こしそうな状況下でもモデルの振る舞いを安定化させることが可能である。 Neuronpediaとの協力により、標準モデルと活性化キャッピングを施したモデルと対話しながら、アシスタント軸に沿った活性化を閲覧できる研究デモを提供している。詳細はブログ記事の末尾で確認できる。 アシスタントが全ての可能なペルソナの中でどこに位置するかを理解するには、まずそれらのペルソナを、モデルの神経活動パターン（活性化）の観点からマッピングする

2026年1月19日解釈可能性アシスタント軸：大規模言語モデルの性格の位置付けと安定化

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト