Anthropic 研究者が退社し、自己改善 AI の危険性を警告

最近、最先端のAI研究所から著名な研究者が退社するケースは多い。その多くは新スタートアップの立ち上げや、新たなビジネスモデルへの抗議のためである。しかし、AI研究者のジェイコブ・クソン氏は、Anthropicを去るにあたり、同社のシステムが「今世紀末までに人類を滅ぼす可能性」があると真剣に信じているにもかかわらず、最先端のAI企業は「我々の命を賭けたギャンブル」をしていると公に警告した。

火曜日の夜、クソン氏はソーシャルメディアのスレッドで、この存在リスクは現在のモデルそのものよりも、「自己改善型の超知能」がもたらす将来の可能性に内在しているのだと指摘した。それは「あらゆるものをハックし、一夜にしてどの分野でも革命を起こし、現実の権力や資源を手中に収めることができる、人間を超えたシステム」を生み出す可能性のことである。同様のモデルに取り組む他の研究者たちは、文明レベルでのリスクを十分に理解していないか、あるいは無責任な誰かが先に到達するのを防ぐために、超知能への競争を「スピードラン」しなければならないと考えていると彼は記した。

これは単に不満を持つ元研究者の意見だと安易に考えないでほしい。Anthropicのアライメント科学部門責任者であるエバン・ヒンガー氏もソーシャルメディアで発言し、「クソン氏の指摘は正しい。私たちは本当に、AIが人類を滅ぼす可能性があると真剣に信じている。私個人の見解では、その確率は今後10年以内に10％を超える」と述べた。

記事全文を読む

コメント