映画レビュー：『The AI Doc』
ドキュメンタリー『The AI Doc』は、作成者の不安からオプティミズムへの転換過程を描きながら、AIの存在リスクと加速主義者の両者に受け入れられるバランスの取れた視点を提供し、技術的詳細よりも社会的な議論の構造に焦点を当てている。
キーポイント
ドキュメンタリーの核心とメッセージ
本作は「Apocaloptimist（破滅的楽観主義者）」への転換過程を描くものであり、Apocaloptimismそのものの正しさを証明するものではない。技術的な安全性の議論よりも、人々が安心感を得るために誤った信念を抱く傾向を批判するストラスブルク的なメッセージが込められている。
両陣営からの評価と受容
存在リスクを懸念するMIRIのRob Bensingerから、加速主義者のBeff Jezosに至るまで、幅広い立場の識者から「公平で良い」と評価されている。これは、対立する両陣営が共通して求める要素を満たしているためであり、単なる説教よりも影響力を持っている。
非技術者視点の編集意図
作成者は技術的専門家ではなく、自身の不安を処理するために武器や物理的破壊への言及を強調するなど、非技術者特有の編集選択を行っている。これは欠点ではなく、作成者の誠実さと一般視聴者への共感を高めるための機能として評価されている。
ドキュメンタリーの姿勢とMIRIの主張
監督は特定の立場に偏らず、被験者の「スピン」を隠さず提示する姿勢を保っている。MIRIはAI開発の危険性を強調し、国際条約の締結を求めている。
AIリスクと子育てに関する対照的な見解
AIの危険性を懸念する専門家の中には子供を作らないと答える者もいる一方、楽観派は現在の時代を子育てに最適だと評価している。
著者の立場と「道具的収束」の概念
著者は子供が存在すること自体に価値があるとし、楽観派に近い立場を取る。また、AIが人間を敵意ではなく「蟻」のように扱う「道具的収束」の概念が説明されている。
AIの危険性に関する議論の焦点
Connor LeahyやEliezer Yudkowskyらは、人間より賢明な存在の作成が安全ではないと強調し、追加の正当化は不要だと主張している。
影響分析・編集コメントを表示
影響分析
この記事は、AI議論の質的な転換点を示唆しています。技術的な詳細な議論から離れ、ドキュメンタリーというメディアを通じて「誰がどのようにAIリスクを認識し、どう向き合うか」という社会的プロセスに焦点を当てることで、技術者と一般市民の対話の可能性を広げています。特に、加速主義と存在リスク懸念者の両者が評価する点は、AI倫理や政策議論において「対話の枠組み」がいかに重要かを示す事例として、業界内外で議論を喚起する可能性があります。
編集コメント
技術的な実装や規制の具体的な進展ではなく、AIをめぐる「物語」と「世論形成」のプロセスに焦点を当てた評論です。技術者だけでなく、政策立案者や一般市民向けのアプローチとして参考になる視点が含まれています。
『The AI Doc：あるいは、私がアポカリプス・オプティミストになった方法』は、素晴らしい作品です。
（これは完全にネタバレを含む概要です。まだ『The AI Doc』をご覧になっていない場合は、ぜひご覧になることをお勧めします。このドキュメンタリーは、現実的にあり得た範囲で、ほぼ完璧な出来栄えです。）
多くの作品と同様、この映画が機能しているのは、その核心部分が真実だからです。ドキュメンタリーの制作者は明らかに結婚し子供をもうけ、AI についてパニックになり、息子の未来への不安から適切な人々に質問をし、実際には正しく理由に基づいた存在リスク（existential risk）に直面してさらにパニックになりました。そして、そのパニックをやめ、代わりに楽観的になるための旅に出ます。そこで多くの適切な人物を見つけ、技術的な専門用語を使わない良い質問を投げかけ、ある程度は騙され、地味な安全への懸念に耳を傾け、トップの CEO たちとのインタビューを探して実現し、自分自身にすべてを無視できると言い聞かせようとしつつも、最終的には希望に満ちた赤ちゃんたちの群れで終わらせるのではなく、未来を形作るための行動を呼びかける結末を選びました。
タイトルは正しい。これは「私がどのようにアポカリプス主義者になったか」、そしてなぜそうありたかったのかについての話であり、アポカリプス主義が正確であるという主張のための議論ではない。より大きなストロウスのメッセージは、タイラー・コーエンに対する反論として、「介入は偽物だ」ということではなく、「人々が多くの場合、AI について誤ったことを信じることを選ぶのは、事態がうまくいくと感じるためである」という点にある。
編集の選択や、何をインターカットし、どの部分を切り取るかという選定は明らかに技術的知識を持たない外部者によるものであり、彼らの不安に対処しようとする試みから来ている。これら多くの選択は私のものではないだろう。特に兵器や物理的な破壊への強調などはそうだ。しかし、それらがすべて組み合わさることで全体が本物であることを明確に示しているからこそ、機能していると私は考える。
さて、ここに物語がある。これはオンラインでも称賛され、存在リスクを心配する人々から、そして加速主義の楽観派の何人かからも公平で良い作品として評価された。なぜなら、両側に最も望まれていたものを提供したからだ。
Beff Jezos（e/acc の最高責任者）は、最終的にこれは良く、かなりバランスが取れていると述べている。MIRI の Rob Bensinger も同様にこの映画を強く推奨している。David Krueger は良い作品であり、全員がこれを見ればさらに良くなると言っている。Riley Goodside もこれを承認している。タイラー・コーエンは、予想よりも良く、賢い作品だと見なし、多様な視点から知的な人々が語れる場を提供していると評価した。
そう、両方の要望に同時に答えることができる。なぜなら、彼らは異なるものを望んでいる一方で、多くの真実については合意しているからだ。これは説教調の演説よりもはるかに影響力がある。
私たちはスピン（偏向）に満ちた世界に住んでいます。ダニエル・ローハーはそんなスピンに満ちた世界をナビゲートしようとしていますが、彼の真摯さが光り、誰をインタビューするかという点で優れた選択をしています。彼の前で話している人に左右されることはバグではなく機能であり、彼はそれを隠そうとはしていないからです。人々が明らかにスピンを試みている場所や、愚かな点を述べている場所もありますが、私は彼がどちらがどちらなのかを私たちに教えようとしなかったことを評価しています。
MIRI は、映画の文脈における彼らの完全な立場を説明する Twitter の FAQ スレッドと完全な Web サイトの FAQ を提供しています。その立場とは、「これは過大評価ではない」「このまま構築し続ければ全員が殺されることになる」「現在の安全技術はそれに対処できない」そして「国際条約を求める」というものです。
これがプロパガンダである、あるいは一方通行であると考える人々はいるでしょうか？もちろんいます。ただし、どの角度から支持しようとしているのかについては一致していません。
赤ちゃんは素晴らしい
全体を通じた個人的な旅路は、ダニエルが息子を持つことに関するものです。映画は非常に明確な立場をとっています。それは、結婚し家族を持ち、赤ちゃんや子供を育てることはすべて非常に素晴らしいという、より頻繁に見られるべき立場です。
これが彼がインタビューする人々に最初に尋ねる質問になります。「現在の AI の状況下で、あなたは今日子供を持つでしょうか？」
AI が人類を皆殺しにするかもしれないと懸念する人々の多くは「いいえ」と答えます。彼らは他の人を説得しようとはしませんが、エライザー・ユドフスキー氏はこのタイムラインでは行わないと言っており、ダリオ・アモダイ氏も「本来やるべきことをすればよい」と述べています。また、「まずはこの AI の状況に対処してから考えよう」といった意見も見られます。
一方、基本的にすべての楽観主義者は、今日こそ子供を産むのに歴史上最高の日であり、子供として生まれるのも最高だと言っています。未来はあなたの想像を超えたものになるでしょう。
この問題については、私は楽観主義者の側にいます。存在リスクを考慮すれば「今日が子供を産むに最適な日」とまでは言えないかもしれませんが、それ以外のことなら間違いなく素晴らしい時代です。そして、その子供たちにとっての upside potential（将来の可能性）はかつてないほど高まっています。最も重要なのは、子供を産んだとしても人類が存続できなくなったからといって、あなたが何かを悪化させたわけではないという点です。子供たちは本質的に価値ある存在であり、与えられる時間がある限りにおいて、存在しなかった場合よりも遥かに良い状態にあります。
人々は AI が人類を皆殺しにするのを心配している
最初のインタビュー群は危険性を概説しています。
これは技術的な映画ではありません。一般の人間にも響くような説明がなされています。
ジェフリー・ラディッシュ氏が、道具的収束（instrumental convergence）の基本概念を説明します。これは、目標を持つならその達成には権力が必要であり、死んでしまってはコーヒーも持ってきてもらえないという考え方です。AI が私たちを憎むからではなく、私たちがアリを見るように AI が見るからです。もしアリの巣の上に高速道路を作りたいと思うなら、それはアリの問題だと彼は言います。
コナー・リーヒ氏は、私たちよりも賢く能力の高いものを創り出すことは安全ではないと語り、そのためにさらなる正当化は必要ないと強調します。エライザー・ユドコフスキー氏は、自分たちを気にせず他のことを望む、はるかに賢い存在と同じ惑星で暮らすなら、自分の運命に希望を持つべきではないと言います。アジェヤ・コートラ氏も追加の点を説明し、その他にも多くの発言があります。
それ以外のこととして、『アライメント問題』についての議論は一切なく、記憶している限りその単語が映画の中で使われたこともありません。
これらの主張がどれほど響いているのかを判断するのは私には難しいです。私は明らかにターゲットオーディエンスではありません。全体的に彼らは公平に取り扱われ、その主張は強く、また決着をつけるのに十分十分なものでした。はい、もちろん私たちはここで多くの問題を抱えています。
パニックになる
ダニエルの反応は、当然かつ正しく、パニックになることです。
そして彼は非常に明確に尋ねます。これについて楽観的である方法はありますか？自分自身を納得させてすべてがうまくいくと信じられるでしょうか？
このように明確に表現されていることにどれほど感謝したか、適切に伝えるのは難しいです。
2 つ目のセクションは真実を求めようとするものではなく、根本的な真実にかかわらず、パニックを起こさないようにしようとするものです。
他の人々は AI によって全員が殺されることを心配していない
技術楽観主義者や加速主義者は喜んでこれに応じます。
彼らはポジティブな雰囲気と、テクノロジーがすべての問題を解決してくれるという約束を携えて現れます。ピーター・ディアマンディスはまず、歴史を通じてテクノロジーが人々に素晴らしい成果をもたらしてきた点を指摘します。ベフ・ジェゾスはさらにその先があり、未来は素晴らしいものになると約束します。人々は常に新しい技術に恐怖を抱くものですが、それは自然な一部であり、その恐れは有用なものになり得ると説きます。
これがほぼすべての議論です。テクノロジーは以前も良かったのだから、今も良いのだという論理です。
このグループの間では、雰囲気が非常に良好です。
注意深く観察する人は、これがあまり立派な議論ではないことに気づくでしょう。確かに、人々が過去に心配し、世の終わりだと考えていたというベイズ的証拠はありますが、それが唯一の根拠であるなら、それは極めて悪い兆候です。人類がテクノロジーや道具を使って生活をより良くしてきた事実が、十分に洗練された人工知能を創り出すことが安全であり、うまくいく可能性が高いことを意味するわけではありません。また、存在リスクや「破滅」に関する主張に対する回答にもなっていません。
確かに、最初の心配している人々のグループに戻ってみると、彼ら、特にトリスラン・ハリスだが他の人も含めて、約束やメリットは現実のものであり、技術は人間にとって素晴らしいものであると容易に認めています。問題は、それが私たちが皆死ぬわけではないという意味でもなく、存在リスクが存在しないという理由を提供するものでもないことです。
私たちは実際に、AGI を生き延びられるかどうかではなく、AGI なしで生き残れるかどうかが問題だと述べる人をそのままの言葉で見ることができます。彼はまっすぐな顔で、潜在的な小惑星衝突さえも直接引用しています。
ダニエラ・アモデイ（ダリオの姉妹であり、Anthropic の社長）がこのセクションに登場していることに注意してください。彼女は最初のセクションには登場していません。彼女は AI の存在リスクを積極的に否定するわけではありませんが、ほぼ完全に upside potential に焦点を当てています。非常に興味深いです。
ロビン・ハンソンが指摘するように、それは存在リスクが unlikely であるためのより良い議論が存在しないという意味ではありません。しかし、そのような議論を持ち出した人は誰もいないようです。
根拠が必要ですか？バイブスがあれば十分です。
アエラは、楽観派たちが何らの議論も提示しなかったことに怒って映画館を出ていった。一方私はその点については怒っていない。なぜなら彼らは真剣に議論を提示しようとしているわけではなく、無根拠な提案を示すこと自体が、この事実についての重要な情報を提供しているからだ。そのような人々が公平だと認める方法でこれを行うことで、外部の人間は「何も心配する必要はない」側に良い議論が存在しないため議論など存在しないことを知ることができる。ただし、MIRI が信じているよりも成功する可能性が高いという点については、確かに良い議論が存在する。
ディープフェイクタウンとボットアポカリプスの到来
次に、第三のグループによるインタビューや懸念が紹介される。ここではエミリー・ベンダー（Emily Bender）やティムニット・ゲブル（Timnit Gebru）らを迎え入れ、ディープフェイク動画、不平等、権力、水の使用量など、その他あらゆる悪魔的な要素について語り始める。
これにより、具体的な主張を掘り下げることもなく、「おっと大変だ」という雰囲気が再び漂うことになる。ここで提起されている懸念の中には実際に存在するものもあれば、ゼロではないが本質的には偽物であるものもある。賢明にも、偽物のものは重点的に扱われていない。主な焦点はディープフェイクであり、現時点では封じ込められているものの確かに実在し問題となっていること、そして不平等と人間が職を維持できなくなるという見通しだ。すでに実際の存在リスクについては取り上げたので、ここではこれらを扱うことを許容する。あなた方も基礎的な事項はカバーしておく必要があるのだ。
AI 競争の停止と狭い道
議論は現在、AI ラスのダイナミクスへと移ります。私たちは、可能な限り速くより能力の高い AI を構築するために競争することは悪いことだと指摘する様々な人々を見ます。コンナー・リーヒが述べているように、AGI（汎用人工知能）を同時に目指す複数のプロジェクトが競い合うことは最悪の状況であり、まさにその状況に私たちは今直面しています。
トリスタン・ハリスは、この状況を二つの危険の間を航行する必要があると枠組み化します。
もし私たちが完全に『解放』すれば、それは間違いなく破滅的な結末を迎えます。その中心的理由として誤用が挙げられます。私は同意しますが、映画はこの点を十分に正当化しておらず、もし誰もが十分に高度な AI を利用可能にしているなら、リソースを巡る競争や生活の運営を AI に任せる必要があるため、実質的に AI が支配することになると指摘すべきだったと考えます。
一方、『停止』すれば、AI の約束を永遠に見失うことになります。デミス・ハサビス氏を含む多くの人が指摘するように、これは中国を含めすべての関係者の合意が得られなければ機能しません。しかし、それはそれほど容易なことではありません。そのような合意が可能であるという事実にさらに言及できなかったことに失望しましたが、この点を本稿の範囲外に置くのは妥当だと感じました。
代わりに、映画は合理的にも述べているように、これらの二つの選択肢の間を狭い道で航行する必要があります。全速力で進むことも、完全に停止することもできません。
私が論理の弱さを感じる場所の一つが『安全性が最も低いラボが勝つ』という主張です。これは、安全性と有用性がトレードオフの関係にある（アライメント・タックスが大きくて正である、つまりコストがかかるという仮定で、現状ではそうではない）こと、そして参加者がほぼ同等であることの両方を前提としているためです。
CEO は自らの役割を知っている
これはすべて「5 人の男」によって運営されているため、彼は次に OpenAI、Anthropic、Google、xAI、Meta の 5 つの CEO に話を聞きに行く。
その結果は印象的であり、ある意味で完璧だった。
OpenAI のサム・アルトマンは、物静かで友好的だが重苦しい様子で現れた。互いに家族を始めたことを祝い合い、アルトマンはこの状況全体が恐ろしいものであると認めた。彼が AI を安全にする方法についての答えは、反復的な導入とテストであり、OpenAI がそれを安全にできる理由は自社のリードを生かせるからだと述べた。当時でも、アルトマンが Anthropic に対するリードを主張することは公平ではなかったと思うが、もし彼が新事実を伝えるつもりでなければ、アルトマンはこれ以上ないほど好印象だった。
ダリオ・アモダイもいつもの自分自身で現れた。彼は状況を認め、調整と安全性のために政府の支援が必要だと指摘した。
デミス・ハサビスは、協調には国際的な取り組みが必要であると指摘し、お気に入りの AI のメリットの一部を強調した。
イーロン・マスクは参加すると述べたが、あまりにも多忙になり、何も残さずに去っていった。
マーク・ザッカーバーグは一切参加することを拒否した。
彼は CEO を厳しく追及したのか？いいえ。CEO を厳しく追及しなかったのだ。
質問はすべて易しいものではなかったが、彼は友好的な姿勢を保ち、明らかに尋ねる必要のある質問を投げかけた。このような状況においては、これが正しいアプローチだったと思う。なぜなら、私が聞きたいような「鋭い」質問をするのに必要な能力が彼にはないからだ。話し続けさせ、敵対的な態度ではなく、できるだけ真剣なモードに彼らを導くことだ。
行動への呼びかけ
私は、このドキュメンタリーにおける偽の結末（実在レベルとメタレベルの両方）を評価しました。その偽りの度合いがどこまでだったのか、あるいはそこで物語を終了させることを彼らが本当に検討していたのかどうか、私には興味があります。
本当の結末は、「希望の大義」という標準的なパターンです。議員に働きかけ、国際条約を締結してこの調整された未来を解決し、世界を救うことこそが私たちの未来を決めるのだという、多くのドキュメンタリーで繰り返されるスローガンで終わります。この場合もまた、確かに世界は本当に救済を必要としています。行動への呼びかけリンクが存在します。
ここではしばしば眉をひそめる反応が見られます。私も同様の反応を示す人を非難するつもりはありません。
しかし、このケースにおいては、「未来は未確定であり、人類は『すべてを破壊して文明を崩壊させるか、あるいは悪の勢力に権限を委ねるか』という道以外の別の道を選べる」というまさにその命題自体が非常に論争的であるため、そのような行動を起こすべきではないと主張する人がいます。
例えば、このセクションに対する反応としてタイラー・カウエンは、「現実には、善悪の別なく、最終決定は引き続き国家安全保障エスタブリッシュメントによって行われる」と明確に述べており、これは彼らが過去にも同様の事項について最終決定を行っていたか、あるいは将来もそうするだろうという含意を含んでいます。さらに、そのような人々がどのような決定を下すかに影響を与えることはできず、また彼らに指示を出すこともできず、国際協力に参加することもできないという主張も含まれています。
しかし、正しい返答は、そのような態度では成り立ちません。
原文を表示
The AI Doc: Or How I Became an Apocaloptimist is a brilliant piece of work.
(This will be a fully spoilorific overview. If you haven’t seen The AI Doc, I recommend seeing it, it is about as good as it could realistically have been, in most ways.)
Like many things, it only works because it is centrally real. The creator of the documentary clearly did get married and have a child, freak out about AI, ask questions of the right people out of worry about his son’s future, freak out even more now with actual existential risk for (simplified versions of) the right reasons, go on a quest to stop freaking out and get optimistic instead, find many of the right people for that and ask good non-technical questions, get somewhat fooled, listen to mundane safety complaints, seek out and get interviews with the top CEOs, try to tell himself he could ignore all of it, then decide not to end on a bunch of hopeful babies and instead have a call for action to help shape the future.
The title is correct. This is about ‘how I became an Apolcaloptimist,’ and why he wanted to be that, as opposed to an argument for apocaloptimism being accurate. The larger Straussian message, contra Tyler Cowen, is not ‘the interventions are fake’ but that ‘so many choose to believe false things about AI, in order to feel that things will be okay.’
A lot of the editing choices, and the selections of what to intercut and clip, clearly come from an outsider without technical knowledge, trying to deal with their anxiety. Many of them would not have been my choices, especially the emphasis on weapons and physical destruction, but I think they work exactly because together they make it clear the whole thing is genuine.
Now there’s a story. It even won praise online as fair and good, from both those worried about existential risk and several of the accelerationist optimists, because it gave both sides what they most wanted.
Beff Jezos, e/acc in chief, says it’s good and pretty balanced in the end. Rob Bensinger of MIRI highly recommending the same film. David Krueger says it was good and it would be good if everyone watched it. Riley Goodside also approves. Tyler Cowen found it better and smarter than he was expecting, with intelligent people allowed to speak from various perspectives.
Yes, you can do that for both at once, because they want different things and also agree on quite a lot of true things. That is much more impactful than a diatribe.
We live in a world of spin. Daniel Roher is trying to navigate a world of spin, but his own earnestness shines through, and he makes excellent choices on who to interview. The being swayed by whoever is in front of him is a feature, not a bug, because he’s not trying to hide it. There are places where people are clearly trying to spin, or are making dumb points, and I appreciated him not trying to tell us which was which.
MIRI offers us a Twitter FAQ thread and a full website FAQ explaining their full position in the context of the movie, which is that no this is not hype and yes it is going to kill everyone if we keep building it and no our current safety techniques will not help with that, and they call for an international treaty.
Are there those who think this was propaganda or one sided? Yes, of course, although they cannot agree on which angle it was trying to support.
Babies Are Awesome
The overarching personal journey is about Daniel having a son. The movie takes one very clear position, that we need to see taken more often, which is that getting married and having a family and babies and kids are all super awesome.
This turns into the first question he asks those he interviews. Would you have a child today, given the current state of AI?
Many of those worried about AI killing everyone say no. They don’t try to dissuade anyone else, but we see Eliezer Yudkowsky saying he won’t do it in this timeline, we see Dario Amodei saying you should do what you would have done anyway, and a bit of ‘well let’s deal with this AI situation first and then we’ll see.’
Whereas basically all the optimists say today is the best time in history to have a kid, or to be born as a kid, the future is going to blow your mind.
On this issue, I am with the optimists. I’m not sure I’d say today is the best time ever to have a child, given the existential risks, but barring that it definitely is a great time, and the upside potential for those children has never been greater. Most importantly, I don’t think that you’ve made things worse if you do have children, and then humanity fails to make it. Children are inherently valuable, and are far better off with whatever time you can give them than not having existed at all.
People Are Worried About AI Killing Everyone
The first set of interviews outlines the danger.
This is not a technical film. We get explanations that resonate with an ordinary dude.
We get Jeffrey Ladish explaining the basics of instrumental convergence, the idea that if you have a goal then power helps you achieve that goal and you cannot fetch the coffee if you’re dead. That it’s not that the AI will hate us, it’s that it will see us like we see ants, and if you want to put a highway where the anthill is that’s the ant’s problem.
We get Connor Leahy talking about how creating smarter and more capable things than us is not a safe thing to be doing, and emphasizing that you do not need further justification for that. We get Eliezer Yudkowsky saying that if you share a planet with much smarter beings that don’t care about you and want other things, you should not like your chances. We get Ajeya Cotra explaining additional things, and so on.
Aside from that, we don’t get any talk of the ‘alignment problem’ and I don’t think the word alignment even appears in the film that I can remember.
It is hard for me to know how much the arguments resonate. I am very much not the target audience. Overall I felt they were treated fairly, and the arguments were both strong and highly sufficient to carry the day. Yes, obviously we are in a lot of trouble here.
Freak Out
Daniel’s response is, quite understandably and correctly, to freak out.
Then he asks, very explicitly, is there a way to be an optimist about this? Could he convince himself it will all work out?
It is hard to properly express how much I appreciated this being so explicit.
The second section is not a quest for truth. It is a quest to stop freaking out, regardless of the underlying truth.
Other People Are Not Worried About AI Killing Everyone
The tech optimists and accelerationists are happy to oblige.
They come bearing positive vibes and the promise of technology to solve all of our problems. Peter Diamandis starts us off pointing out that technology has done great things for people throughout history. Beff Jezos promises even more of this to come, that the future will be awesome. People are always afraid of new tech, you see, but that’s a natural part of it, and the fear can be useful.
That is almost entirely the argument. Tech was good before, so tech will be good now.
The vibes, among this group, are excellent.
The careful observer will notice that this does not constitute much of an argument. Yes, it is Bayesian evidence that people previously worried and thought things were ending, but it is an extremely bad sign if this is all you have got. The fact that humans use technology and tools to make life better does not mean that creating superior sufficiently advanced artificial minds is a safe thing to do likely to turn out well. It does not answer any of the cases made for existential risk or ‘doom.’
Indeed, when we flip back to the first group of worried people, they, especially Tristan Harris but also others, readily affirm that the promises and upsides are real and technology is awesome for humans. The problem is that none of that means we’re not all going to die, or provides a reason to think the existential risks aren’t there.
We even have, verbatim, someone saying the question is not whether we can survive AGI, the question is whether we can survive without AGI. He even directly cites a potential asteroid strike, with a straight face.
Note that Daniela Amodei, Dario’s sister and the President of Anthropic, appears in this section, rather than in the first section. She doesn’t actively dismiss AI existential risks, but she focuses almost entirely on the upside potential. Very curious.
As Robin Hanson points out, that does not mean there are not better arguments for existential risks being unlikely. But it seems that no one brought such arguments.
Who needs arguments when you have vibes?
Aella left the movie mad at the optimists for not making any arguments. Whereas I’m not mad about that, because they’re not seriously claiming to make any arguments, so presenting their argumentless pitch provides key information about this fact. Doing this in a way those people endorse as fair lets outsiders see that there is no debate, as there are no good arguments on the ‘nothing to worry about’ side, although there are good arguments for higher chances of success than MIRI believes in.
Deepfaketown and Botpocalypse Soon
We then get a third group of interviews and worries, which is where we bring in Emily Bender and Timnit Gebru and company, and we talk about deepfake videos and inequality and power and water usage and all the other various boogeymen.
This brings the vibes back to ‘oh no’ without digging into any of the particular claims. Some of the concerns here are real, some are nonzero but essentially fake, and wisely the fake ones are not focused upon. The main focuses are deepfakes, which for now are contained but certainly are real and a problem, and inequality and the prospect of humans being unable to hold jobs. Given we have already covered actual existential risks, I will allow this, you do have to cover your bases.
Stopping The AI Race and A Narrow Path
Discussion now shifts into the dynamics of the AI Race. We see various people point out that racing to build more capable AI as fast as possible is bad, as Connor Leahy says several projects racing for AGI at the same time is the worst possible situation and, well, here we are.
Tristan Harris frames things as needing to chart between twin dangers.
If we fully ‘let it rip’ then that definitely ends disastrously, with misuse cited as the central reason. I agree, but note that the movie did not properly justify this, and should have pointed out that if everyone has sufficiently advanced AI available then the AIs are effectively in charge because everyone has to use their AI to compete for resources and run their life on their behalf, and so on.
If we ‘shut it down,’ we miss out on AI’s promise indefinitely, and as many point out including Demis Hassabis this only works if you have everyone’s buy-in, including China, and this is not so easy. I was disappointed we didn’t get more on the fact that such buy-in is possible, but it felt reasonable to put this beyond scope.
Instead, we must chart, the movie says reasonably, a narrow path between these two options. You can’t go full speed or full stop.
One place I find the arguments weak is ‘the lab with the least safety wins,’ since that assumes both that safety trades off with usefulness (that the alignment tax is large and positive, which so far it hasn’t been), and also that the participants are roughly equal.
CEOs Know Their Roles
Given this is all being run by ‘five guys’ he then sets out to talk to the five CEOs of OpenAI, Anthropic, Google, xAI and Meta.
The results are impressive and also kind of perfect.
Sam Altman of OpenAI shows up soft-spoken, friendly but somber. They congratulate each other on starting families, and Altman acknowledges the whole thing is scary. His answer to how to make AI safe is iterative deployment and testing, and his reason why OpenAI can make it safe is they can use their lead. I don’t think it was fair, even then, for Altman to claim a lead over Anthropic, but unless he was going to break news Altman came off about as well as he could.
Dario Amodei showed up his usual self as well. He acknowledged the situation, and noted the need for government help with coordination and safety.
Demis Hassabis pointed out that coordination would need to be international, and emphasized some of his favorite AI upsides.
Elon Musk said he would participate, but got too busy, and left us with nothing.
Mark Zuckerberg declined to participate at all.
Did he grill the CEOs? No. He did not grill the CEOs.
The questions were not all easy, but he kept it friendly, and asked questions he clearly needed to ask. I think this was the right approach in a spot like this, because he doesn’t have the chops necessary to ask the ‘hard hitting’ questions I would want to ask. Keep ‘em talking, and get them into as earnest a mode as you can rather than a combative one.
The Call To Action
I did appreciate the fake ending, on both the real and meta level. I am curious what level of fake it was, whether he did consider ending things there or not.
The real ending is a standard audacity of hope, call your Congressman, seek an international treaty to solve this coordination future and save the world, the future is up to us pitch that ends so many documentaries. In this case, yes, the world really does need saving. There is a call to action link.
Often one rolls one’s eyes here. I would not begrudge anyone doing the same.
But in this case, the very thesis that the future is unwritten, and that humanity can choose a different path other than ‘wreck everything and either tank civilization or hand things to the bad guys’ is rather controversial, thus you shouldn’t try.
Tyler Cowen, in response to this section, as an example, says explicitly that ‘in reality, for better or worse, the final decisions will continue to be made by the national security establishment,’ which implies that they were previously making the final decisions on such matters, or that they will in the future do so, and also that you cannot impact what decisions such folks make or that such folks can’t be instructed and can’t take part in international cooperation.
Well, the correct reply goes, not with that attitude.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み