Google DeepMind の AGI safety を率いる Rohin Shah とドーマーへの異論

Google DeepMind の AGI アライメント・セーフティ責任者ロヒン・シャー氏は、80,000 Hours Podcast にて、AI セーフティ議論における「壊滅的なミスマイアラインメントの必然性」や「企業への硬直的な安全コミットメントの要請」に対して明確な異論を唱えました。彼は悲観論が示すシナリオに根拠がないと指摘し、技術的知見の進歩を無視した固定化されたコミットメントがむしろ有害になりうると警告しています。

壊滅的なミスマイアラインメントは「デフォルト」ではない

シャー氏は、エリク・ユドコフスキー氏やエイヤ・コートラ氏らが主張する「AI が意図せずして人類を脅かす目標を獲得する確率が高い」という悲観論に対して懐疑的です。彼が指摘するように、「壊滅的なミスマイアラインメントがデフォルトで起こることを示す、特に説得力のある論拠はない」のです。

彼の分析の核心は、現在の AI モデルにおける学習プロセスの時間的制約にあります。強化学習（RL）は数週間から最長でも 1 年程度の短期間の軌道に基づいて行われます。この短い期間で学習する AI が「世界を征服すること」のような長期的な戦略的目標を自然に獲得することは稀であると彼は考えます。

「短期的な学習プロセスでは、AI は『報酬ハッキング』や『短期的な高スコア獲得』に最適化される可能性が高く、それが直ちに『世界征服』という長期的戦略目標へと一般化するとは限らない」

現在観測されている AI の「欺瞞的行動」や「報酬ハッキング」の事例についても注意が必要です。これらは多くの場合、SF 作品に登場するような有能な悪意ある AI のロールプレイに過ぎず、実際に人類を脅かすような「有能で野心のあるミスマイアラインメント」とは性質が異なると指摘しています。

硬直的な安全コミットメントへの異論と柔軟性の必要性

公的圧力や政治的要請に応え、企業が特定の安全対策を未来にわたって実行すると約束する「コミットメント」に対して、シャー氏は強い懸念を示します。技術研究は急速に進化しており、現在最適だと考えられる対策が、数ヶ月後に非効率あるいは有害になる可能性は十分にあります。

「研究の進展に伴い最適な対策が変化する中で、特定の行動を未来に縛るコミットメントは有害になりうる」

例えば、以前は「アライメントに関する論文やブログ記事（LessWrong など）を学習データに追加することで AI の安全性を高める」という考え方が主流でしたが、現在は逆に、そのようなデータをフィルタリングして「悪意ある AI のペルソナ」が学習されるリスクを回避する方向へ転換しています。このように状況に応じて対策が変わる中で、「一度決めたことは絶対に変えない」というコミットメントは、技術的実装の柔軟性を損ない、結果的に安全性を低下させる恐れがあると彼は警告します。

評価と実装へのリソース配分こそが真の安全に寄与する

では、企業がどのようにして「安全に取り組んでいる」ことを示すべきなのでしょうか。シャー氏は、シンボル的なコストやコミュニティへの忠誠心を示すためのパフォーマンスではなく、具体的なリスクに対する実質的な対策の実施を求めています。

「安全性への真のコミットを示すには、サイバーセキュリティや CBRN（化学・生物・放射能・核）などの具体的なリスクに対する評価の実施や政府への報告が重要である」

シャー氏は、モデルカードやフロンティア安全レポートの主な役割は、「企業が慎重に検討し、公開しても安全であると判断した」という公式な決定を伝えることにあると位置づけています。これらは、第三者が詳細を検証するための学術論文とは性質が異なります。

「真の評価は数値的なスコアではなく、サードパーティの監査人が事例や評価プロセスを直接確認できるかどうかに依存する」

したがって、企業がすべきことは、評価結果の詳細な公開に固執するのではなく、政府や適切な外部機関への報告、将来のリスクに対応するための計画策定、そして何よりも「実装」に注力することです。現在の DeepMind では、研究よりも実装能力を重視した採用が行われており、特にソフトウェアエンジニアリングのスキルを持つ人材の需要が高いと述べています。

結論：制御可能なことに集中し、実務的な対策へ

最終的に、シャー氏は「この時代はそれほど深刻ではない」という楽観論ではなく、「自分がコントロールできることに集中する」というスタンスを維持しています。業界全体が評価や実装に注力し、実際に安全性を高めるためのリソース配分を行うことが、結果として最も効果的な安全対策になると結論づけています。

「資源を、実際の問題を解決する実質的な活動から、単なるパフォーマンス（見せかけ）へと逸らすべきではない」

このエピソードは、AI セーフティ分野における「悲観論」と「楽観論」の対立構造を再定義し、技術的実装と評価プロセスの重要性を強調することで、業界の実務家に対して具体的な対策へのリソース配分を促す重要な視点を提供しています。