Google DeepMind の AGI safety を率いる Rohin Shah とドーマーへの異論
#245 – Rohin Shah on what it's really like to run AGI safety at Google DeepMind (and where I disagree with 'doomers')
30秒要約
Google DeepMind の AGI セーフティ責任者 Rohin Shah は、ドーマーの悲観論への異議を唱えつつ、不確実な未来に柔軟に対応するためには硬直的なコミットメントよりも実装と評価の継続的改善が重要であると主張する。
この回の3つの核心
ミスマイアラインメントの確率論的見解
壊滅的なミスマイアラインメントはデフォルトで起こるものではなく、多くの議論には穴があり、短期的な学習プロセスでは世界征服のような長期的戦略的目標は生まれにくいと主張する。
硬直的コミットメントへの異論
研究の進展により最適な対策が変化する中で、特定の行動を未来に縛るコミットメントは有害になりうるため、柔軟な対応が重要であると説く。
評価と実装の優先順位
安全性への真のコミットを示すには、シンボル的なコストではなく、サイバーセキュリティや CBRN などの具体的なリスクに対する評価の実施や政府への報告が重要であると指摘する。
なぜ重要か
このエピソードは、AI セーフティ分野における「悲観論」と「楽観論」の対立構造を再定義し、技術的実装と評価プロセスの重要性を強調することで、業界の実務家に対して具体的な対策へのリソース配分を促す。また、企業への規制やコミットメント要請が必ずしも安全性に寄与しないという見解は、政策立案者やアクティビストに対する重要な視点を提供する。
発言から確かめる
時間を選ぶと、元音声の該当箇所を開きます。
「壊滅的なミスマイアラインメントがデフォルトで起こるという説得力のある議論はないと感じている。」
「研究は継続的に変化し、取るべき行動も変わるため、自分を縛り付けるコミットメントは実際には良いアイデアではない。」