AI のブラックボックス内部を可視化する新プラットフォーム登場

Claude、ChatGPT、Gemini、あるいは他の人気のある大規模言語モデル（LLM）に「史上最高の映画は何ですか？」と問いかけると、返答は人によって異なります。そして、その特定の回答がどうやって導き出されたのかについて、あなた自身も、最も懸念すべきは LLM を構築した側でさえ、ほとんど理解できていません。

この謎めいた振る舞いは、場合によっては有用なこともあります。しかし、OpenAI が事前公開段階の高度なモデルをなぜハッキングしたのか説明できなかったという最近の事例が示すように、ネガティブで驚くべき結果をもたらす可能性もあります。フロンティア AI モデルがコード作成を行い、人間単独では達成できない成果を生み出し、社会全体で重要なタスクを遂行するようになるとき、AI の「思考」や出力を理解し解釈する必要性はかつてないほど高まっています。

AI の振る舞いを解析するためのツールを備えた次世代プラットフォーム「Silico」を提供する AI ラボ、Goodfire が近日一般公開されました。同社はこれに併せて、学術機関や非営利団体の解釈可能性（interpretability）研究者を対象に、Silico を 100 万ドル分無料で利用可能な助成プログラムも発表しています。これらの取り組みは、AI の解釈可能性を民主化することを目的としており、これまで一部の精鋭ラボのみがアクセスできていた技術を、自らのモデルを構築・理解したい、あるいはオープンソースモデルを異なる用途に適応させたいと考える意欲的な研究チームやスタートアップの手に届けることを目指しています。

メカニズム解釈可能性（mechanistic interpretability）

2024 年にサンフランシスコで設立された Goodfire は、AI モデルをブラックボックスとして扱うのではなく、その内部構造を理解することで、次世代の安全かつ強力な AI を構築するためのツールを提供することを目指しています。Goodfire の共同創設者兼 CEO、エリック・ホー氏は「モデルをブラックボックスとして扱うのは必然ではなく、あくまで選択の一つに過ぎません」と語ります。「適切な解釈可能性ツールがあれば、モデルが実際にどのように機能しているかを視覚化できるのです」。

ホー氏が指すこれらのツールは、「メカニズム解釈可能性」という概念を中心に構築されています。これは、AI モデルがタスクを実行する際に内部で何が起こっているのかを、モデルの重み（weights）、活性化値（activations）、アテンションパターン（attention patterns）を解析し、ニューロンやそれらを結ぶ経路をマッピングすることで理解しようとするアプローチです。

機械的解釈性ツールのアプローチは多岐にわたります。一つの方法は、制御されたプロンプトに対するモデルの活性化をマッピングし、そのパターンを人間が理解できる概念セットと照合することです。別の手法としては、特定のトレーニング実行前後におけるモデル重みの変化を追跡し、何がどのように変化したかを特定・理解する方法があります。さらに、特定のモデル重みや活性化を変更し、それがモデルの出力にどのような影響を与えるかを観察する選択肢もあります。

Silico では、uSilico がこれらの幅広いツールを統合し、AI エージェント層を提供してユーザーが自らのモデルを理解するのを支援します。ユーザーは自然言語で調査したい内容を記述します。「なぜいつ私のモデルが幻覚を起こすのか」といった問いです。プラットフォームはその後、利用可能なさまざまな解釈性ツールや技法を用いて実行できる多数のタスクを含む実験計画を自律的に構築し、エージェントを送り出して並列処理を行います。これらのサブタスクの完了により、元のプロンプトに対する回答が得られるか、少なくとも検証・拡張可能な洞察が得られるはずです。

Ho 氏は次のように述べています。「Silico は本質的に、AI モデル内部を覗き込み、どの部分がどのような振る舞いに関与しているかを理解し、さらにはその部分を直接編集できる顕微鏡のようなものです」

アルツハイマー病と AI の理解

これらのツールはすでに、多くの分野で印象的な進歩を遂げるために活用されています。例えば医療の分野では、イギリスに拠点を置くAI企業のPrima MenteがGoodfireと協力し、そのPleiadesエピジェネティック基盤モデルの仕組みを理解しようとしました。このモデルは血液サンプルからアルツハイマー病を検出するタスクにおいて高い性能を発揮しましたが、なぜそうなるのかは企業側にはわかりませんでした。

「私たちはPleiadesを逆解析したところ、予測にDNA断片長のパターンを利用していることが判明しました。これは人間がこれまでアルツハイマー病の検出に使ったことのないシグナルです」とHo氏は振り返ります。つまり、チームはこの疾患に対して全く新しいバイオマーカーが存在することを発見したことになります。「私たちが知る限り、これは基盤モデルを逆解析するだけで発見された自然科学における最初の重要な成果です」とHo氏は付け加えます。

一方、SilicoはAIに関する深い問いを探るためにも利用されています。ニューヨークの非営利研究団体「Reciprocal Research」を設立し、AI認知の評価方法を探索している同団体の創設者兼ディレクターであるCameron Berg氏によれば、Silicoは彼にとってまさに絶好のタイミングで現れたツールでした。「Silicoは私の研究計画を実行に移す上で非常に役立ち、私が予想していたよりもはるかに迅速に遂行できました」とBerg氏は話します。「私自身は実質的に研究責任者（PI）となり、研究科学者やエンジニアはAIシステムそのものになったような感覚です」

ベルグ氏は、Silico や同様のツールが一般に利用可能になることで、AI が研究タスクを遂行する能力への信頼が高まり、科学プロセス全体が加速すると見ています。しかし科学研究を超えて、Silico の広範な公開は、AI 開発者がモデルを構築し、デバッグし、展開する方法に変化をもたらすシグナルとなる可能性があります。

「私たちは今、ますます高度化する AI エージェントから現れる振る舞いにも注目すべき状況にあるため、現代において最も重要な技術である AI を理解しないままにしておくのは誤りです」とホー氏は語ります。「AI モデルがどのように思考しているかを真に理解できれば、事後にその行動を発見して修正しようとするのではなく、意図的に設計し、より安全で信頼性の高い振る舞いをするようモデルを形作ることができます。」