元 UK AI セーフティ科学責任者 ジオフリー・アーヴィンが、スーパーインテリジェンス到来前のアライメント解決法を語る

この回の3つの核心

1. 1

   フェーズシフトと一般化への懐疑

   人間レベルからスーパーインテリジェンスへ移行する際、能力やアライメントに予測不能な「フェーズシフト」が発生し、既存のデータに基づく一般化が機能しない可能性が高い。

2. 2

   能力とアライメントの非対称性

   能力開発は失敗してもモデルが弱体化するだけで修正可能だが、アライメントの失敗は制御不能な世界支配を招くため、後者のリスク管理が極めて困難である。

3. 3

   即座の速度低下の必要性

   正確なタイミングを議論する余地はなく、すでに遅すぎるため、今すぐ開発スピードを落とすことが最善のアプローチであると主張している。

発言から確かめる

時間を選ぶと、元音声の該当箇所を開きます。