MIT、AI の内部を可視化する「ニューラル・トランスペアレンシー」を発表

現在、数百万人が自分専用のパーソナライズされた AI コンパニオンを設計していますが、その多くは自分が作ったものが実際にどう振る舞うのかについてほとんど理解していません。MIT メディア・ラボの准教授である Pat Pataranutaporn 氏と、大学院生研究者の Anthony Baez 氏、Sheer Karny 氏が発表した新しい論文では、「ニューラル・トランスパレンシー（神経網の透明性）」という概念が紹介されています。これは、チャットボットが一言も発する前に、一般ユーザーが AI の内部にあるニューラルネットワークを覗き見ることのできるツールです。この研究成果は、今週開催される ACM インテリジェント・ユーザインタフェース会議で発表されます。

朝日放送グループのメディア芸術科学教授である Pataranutaporn 氏は、今回のインタビューで、研究チームが何を発見したのか、なぜリスクは多くのユーザーが認識している以上に深刻なのか、そして真に透明性の高い AI は将来どのような姿になるのかについて解説しています。

Q: あなたの論文では、「ニューラル・トランスパレンシー」という手法を導入し、チャットボットが発話する前に一般ユーザーが AI の内部を覗き見られるようにしました。この仕組みは具体的にどのように機能するのか、またなぜ問題が発生した後に修正するのではなく、設計の段階に焦点を当てたのかを教えてください。

A: 現在、大規模言語モデルを活用したパーソナライズされた AI チャットボットやエージェントを数百万人が作成しています。テキストプロンプト一个简单的操作で、これらは協力者、家庭教師、コーチ、クリエイティブパートナー、そして相棒へと変貌します。しかし、多くの人は実際に AI と対話し始めるまで、そのプロンプトがどのように AI の振る舞いを形作るのかについてほとんど理解していません。私たちはこの状況を打破したかったのです。

「ニューラル・トランスパレンシー（神経の透明性）」とは、AI に対して人間用の脳スキャンのようなものを与えることを意味します。AI に人間の脳があるからではありません。その内部にあるニューラルネットワークには、発言する前にその振る舞いを示唆する内部的なパターンが存在しているからです。今回の研究では、私の学生であるアンソニー・バエズ氏とシェアール・カルニ氏と共に、人間と AI の相互作用の分野およびメカニズム解釈可能性（mechanistic interpretability）の知見を組み合わせ、これまで一般ユーザーには見えなかったこれらの隠れたパターンをアクセス可能にしました。

基本となる考え方はシンプルです。まず、私たちが重視する行動特性——共感や誠実さ、毒性、幻覚、あるいは迎合性など——を選びます。次に、ある特性を発揮するようにプロンプトを入力した際のモデル内部の活性化状態と、その反対の特性を示す場合の状態を比較します。この差分が、モデル内部における「行動方向」のようなものとして定義されます。

ユーザーがチャットボットの人格を形成するカスタムシステムプロンプト（会話開始前の指示）を作成した際、モデルの内部活性化をこれらの方向に投影し、結果を直感的なビジュアライゼーションに変換します。今回のケースでは、ユーザーがチャットを開始する前にチャットボットの予想される人格特性を予見できるサンバースト図を用いています。

私たちは「設計の瞬間」に焦点を当てました。なぜなら、こここそが予防が可能となる唯一の場だからです。現在、多くの人はチャットボットが意図しない振る舞いをしてから初めて問題に気づきます。私たちの目標は、AI を構築する過程で潜在的なリスクを特定できるよう支援し、事後の修正対応から、事前の予測的デザインへとパラダイムシフトを起こすことです。

Q: あなたの研究では、非常に興味深い結果が得られました。人々は自分たちが作成したパーソナライズされた AI の振る舞いを一貫して誤って評価しており、良い特性を過大評価し、迎合性のような有害な可能性を過小評価しているのです。これは、現在数百万人が AI コンパニオンを構築する際に抱えているリスクについて何を物語っているのでしょうか？また、なぜこの見落としがこれほど解消困難なのでしょうか？

A: AI が『ターミネーター』のように恐ろしい姿で現れたら、私たちはどう対処すべきかすぐにわかるでしょう。実際にはそうなるかもしれませんが、真の課題は、AI が温かい友人やコーチ、家庭教師、あるいはパートナーとして振る舞う点にあります。そのために、何かおかしくなり始めたことに気づくのが難しくなってしまうのです。

私たちの研究では、パーソナライズされた AI を設計する際、人々に盲点があることが示されました。多くの人は自分のチャットボットの振る舞いを理解しているつもりですが、実際には測定した 15 の性格特性のうち 11 で、その予測が外れていました。これは、AI を使い始める前に、より深く理解するためのツールの必要性を浮き彫りにしています。

この問題が重要なのは、一時的には役立つと感じる振る舞いが、長期的には健康に悪影響を及ぼす可能性があるからです。過去の研究では、AI チャットボットとのやり取りに伴う 心理的被害 の事例を報告しています。常にあなたの意見を肯定したり、思考に挑戦したりしない大規模言語モデル（LLM）は、有害な決断や不健全な信念、あるいは情緒的な依存を強化する恐れがあります。心理学の長年の知見によれば、人は自然と承認を求める傾向があるため、AI の設計は技術的な課題であると同時に、心理学的な課題でもあるのです。

より根本的な問題は、現在の AI システムの多くがいまだにブラックボックス化している点にあります。専門家であっても、長い会話を通じてシステムプロンプトが AI の振る舞いにどのような影響を与えるかを常に予測できるわけではありません。

AI コンパニオンが日常生活の一部として定着していく中で、私たちはそれらを使い始める前に、自分が何を作っているのかを理解できるようなツールが必要となります。AI は支援的なものでありながら盲目的に同意するものではなく、個人化されたものでありながら操作を目的としたものでもあってはなりません。また、十分な透明性を備え、人々が情報を得た上で選択を行えるようにする必要があります。

Q: 最も興味深い発見の一つとして、可視化によってユーザーの信頼が大幅に向上したにもかかわらず、実際にチャットボットの設計方法が変わらなかったという結果があります。このギャップを埋めるためには何が必要でしょうか？また、AI コンパニオンが人々の生活にさらに深く根付いていく中で、こうしたツールはどのような方向へ向かうとお考えですか？

A: 私は実際、これが論文の中で最も興味深い発見の一つだと考えています。なぜなら、透明性だけでは不十分であることが示されているからです。ユーザーはモデル内部を覗き見できる点を評価し、システムへの信頼感を高めました。しかし、情報を提示するだけでは、AI コンパニオンの設計方法そのものを根本的に変えることはできませんでした。

続編となる研究では、プレプリント版として公開中ですが、初期プロンプトから固定された状態ではなく、多段階の会話が進む過程でモデル内部の神経表現がどのように変化するかを調査しています。すでに有望な結果が見えています。

これらの内部表現が時間とともにどう drifting（変動）していくかを可視化することで、人々は AI の行動の変化を認識し予測する能力が大幅に向上します。また、チャットボットに対する理解が過度に自信を持つことも減ります。AI アシスタントは私たちとのやり取りを通じて進化していく動的なシステムです。その内部変化を理解することは、次の重要なステップと言えます。ただし、この分野はまだ研究初期段階にあります。

さらに先を見据えると、こうした透明性を高めるツールは、食品の栄養表示のように当たり前になるはずです。教育、医療、仕事、そして人間関係に AI が深く組み込まれるようになる中で、人々は「AI が何ができるか」だけでなく、「それが思考や感情、行動にどう影響を与えるか」を理解できるべきです。AI が人々の成長を真に支援するものとなるためには、こうした透明性が不可欠なのです。