OpenAI #16：歴史と提案

今日の本当のニュースは、Anthropic がサイバーセキュリティ分野のトップ企業と提携し、新しいモデル「Claude Mythos」が発見した数千件のゼロデイ脆弱性を修正するために、すべての人のシステムをパッチ適用しようとしているという点です。 私は今後数日かけてこれを整理していきます。しかし今は代わりに、OpenAI に関するいくつかのニュースがあります。 具体的には三つの物語があります。 まず、Sam Altman と OpenAI の歴史、そして彼の信頼性に関わる内容について、The New Yorker に掲載された全長 18,000 語に及ぶ大規模な記事です。結論は「信頼できない」です。 次に、OpenAI が提案する何らかの「新しい合意」に関する話です。これも「合意なし」です。 そして最後に、実際に成立した取引、つまり TBPN の買収についてです。ご冥福をお祈りします（RIP）。 目次 第 1 部：OpenAI：その歴史 ボードの戦い メモへの感謝 私は私である 私が言ったのはそうではない 調査は行われない ムスク対アルトマン アモダイ対アルトマン シドニー対アルトマン 最高入札者対アルトマン リスクビジネス スーパーアライメント（超並列化）は最初から偽物だった これは大丈夫だ 嘘つき、嘘つき、マスター・パースウェーダー 特にこれが証券詐欺である 規制の二歩ステップ イージーモード 適切なアライメント研究の量はゼロではない OpenAI が政策を提案 TBPN へご冥福を（RIP） 第 1 部：OpenAI：その歴史 見出しに疑問形で質問がなされた場合、答えはほぼ常に「いいえ」です。 今週の例として、Ronan Farrow と Andrew Marantz が The New Yorker に掲載した記事『Sam Altman は私たちの未来を支配するかもしれない—彼を信頼できるか？』があります。 かつてアルトマン自身は「いいえ」と答えていたが、今週は PR 用に調整された回答を返した。その答えも結局は「いいえ」であり、この質問に対する答えが「いいえ」であることは明白だ。 この記事の焦点は見出しにある問い自体ではなく（私たちは皆その答えを知っている）、むしろアルトマンのプロフィールを描き、アルトマンと OpenAI の過去のさまざまな出来事の歴史を整理し、基本的にすべての事案について法的な議論を行うことにある。 私は全体的に記事が公平だと感じた。確かに「限定された不信」のルール内には完全に収まっているが、明らかに「疑わしく見せる」というジャーナリズムの手法を採用していると言える。彼らは公平になろうと努め、概ね成功したように思えるが、カットできた項目や、私が望むほどではない「罠を仕掛けるような」枠組みで語られている箇所も確かに存在する。 この記事は 18,000 語に及び、以前にも詳しく取り上げた話題が多く含まれているため、私はそれらの多くについては省略する。ただし、全文を読む価値があるほど文章はよく書かれている。 代わりに、主要なポイントを解説してみよう。 ボードの戦い OpenAI の歴史における中心的出来事として、「ボードの戦い」から話を始める。 ここでの報道は、私が過去に行った報告と一貫していた。いくつかの新規で意味のある詳細や確認事項が含まれていたに過ぎない。 一つの継続的な疑問は、アルトマンが最初の解雇に対してどのように反応したかです。アルトマンは、自分がその解雇を受け入れるつもりだったと主張し、その後他の人々が反発して彼を説得し、再び集中させたのだと言います。しかし、これはここで描かれている状況とは異なります。 ロナン・ファローとアンドリュー・マランツ：アルトマンが解雇された日、彼はサンフランシスコにある2700万ドルの豪邸に飛び帰り、そこは湾のパノラマビューを望み、かつてはカントレバー（片持ち）型の無限プールを備えた場所でした。そしてそこで彼自身「亡命政府」と呼ぶものを立ち上げました。 …アルトマンは毎晩6時に「戦争室」の会議を中断し、ネグロニのカップを回しました。「落ち着けよ」と彼は振り返って言います。「何が起きようとも、起きることは起きるんだ」。しかし、彼は付け加えました。彼の通話記録によると、1日12時間以上も電話をかけていたということです。 メモへの感謝 当時の理事会メンバーであるイリヤ・スツケバーが、アルトマンとブロックマンがOpenAIを率いるべきではない理由を示すために70ページにわたるSlackメッセージを集め、アルトマンへの恐怖から残念ながら消去メッセージとして送信し、その後理事会がアルトマンの解雇を試みたという確認が取れました。それを直接見ることができないのは残念です。 私は私である これは非常に興味深い引用で、アルトマンはこれを覚えていませんが否定もしていません。 ロナン・ファローとアンドリュー・マランツ：アルトマンの解雇後の緊張した電話会議において、理事会は彼に欺瞞のパターンを認めるよう迫りました。「これは完全に破綻している」と彼は繰り返し言いました。通話に参加していた人々によると、「私の性格を変えることはできない」のです。 いいえ、おそらくあなたはできないでしょう、先生。そしてはい、私も同意します、それはすべてかなりひどいことでした。 アルトマン氏は膨大なストレスにさらされ、意思決定の疲労に苦しんでいると言っています。その点については、私は彼を完全に信じ、同情しています。 私が言ったことではない ポール・グレアムは、ここで述べられているアルトマン氏の YC 離脱に関する説明を異議申し立てていますが、彼の主張である「記事の説明が誤りである」という点は、実際の記事の説明内容についての不正確な記述であり、それを否定するものになっていません。 調査は行われない 後のセクションでは、アルトマン氏がサマーズ氏とテイラー氏に、アルトマン氏の過去の行動に関する約束された調査を行わないよう説得した経緯が概説されています。ここでは、特定の潜在的な犯罪行為に関する限定的な主張に焦点を絞り、アルトマン氏を『無罪』とし、事態を平常に戻す方法を探していました。刑事違反はないのか？それなら仕事に戻れ。この調査はほとんど偽物であり、報告書さえ発表されませんでした。 多くの元 OpenAI 社員および現役の社員が、情報開示の欠如に驚いたと私たちに語りました。アルトマン氏は、復職後に加わったすべての理事会メンバーが口頭でのブリーフィングを受けたと考えていると言いました。「それは絶対的な、ありえない嘘です」と、状況に直接精通している人物は述べています。 一部の理事会メンバーは、報告書の信頼性に関する継続的な疑問が、ある人が言うように「別の調査の必要性」を促す可能性があると言っています。 あのオタクたちを見てください。言葉には意味があり、真実が重要であるかのように振る舞っている。愚か者たち。 マスク対アルトマン ムスクとの決裂の物語は、アルトマンの語る出来事のバージョンや私の以前の理解と一致しており、ムスクが語る物語とは矛盾しています。アルトマンが一貫して率直でないと思う箇所がある一方で、これらの出来事についての彼の語りの方がより正確であると考えます。 最も印象に残ったのは、この詳細な記述です： しかし、彼らには知らされないまま、彼はブロクマンとスートセバーとの間で秘密の取り決めを結んでいました。アルトマンは CEO の肩書きを得るが、その代わりとして、他の二人が必要だと判断すれば辞任することに合意したのである。（この記述については異議を唱え、「CEO の役割を引き受けたのは要請されたからに過ぎない」と述べています。三人ともこの契約が存在したことを確認しましたが、ブロクマンはそれが非公式なものであると言いました。「彼は一方的に、『もし二人が私に辞任を求めたら降りる』と告げました。私たちはこの考えに反対しましたが、彼にとっては重要だと述べました。それは純粋なる利他的行為でした」と彼は語っています。）その後、理事会は自らの CEO が事実上自分自身の影の理事会を任命していたことを知り、驚愕しました。 この時点で、私たちがすべて知っているように、そのような非公式な取り決めがどれほどの価値を持つかは明白です。 アモデイ対アルトマン この詳細は、ダリオ・アモデイが OpenAI を去った経緯と理由の物語において重要な要素のように思われます。 Amodei は Altman に対し、安全に関する要求事項の優先順位が付けられたリストを提示し、その最上位に「合併と支援条項」の維持を置きました。Altman はこの要求に応じましたが、6 月の取引完了直前に Amodei は、Microsoft が OpenAI のあらゆる合併を阻止する権限を与える条項が追加されていたことを発見しました。「チャーターの 80% が裏切られたのです」と Amodei は回想しています。 彼は Altman に対峙しましたが、Altman はその条項が存在しないと言い張りました。Amodei は条文を読み上げ、該当箇所を指し示し、最終的に別の同僚に直接 Altman の面前でその存在を確認させるに至りました。（Altman はこのことを覚えていません。） 訂正：Altman はこのことを覚えていないと主張しています。 その後、事態がどのように急速にエスカレートしたかが見て取れます。 Ronan Farrow と Andrew Marantz: Amodei のメモには、数ヶ月後に行われたような緊張を極めた対峙の記述が含まれており、その中で Altman は彼と妹の Daniela を呼び出しました。Daniela は同社で安全および政策担当として勤務しており、Altman は彼女らに対し、「上級経営者から信頼できる情報源を得た」として、二人がクーデターを企てていると告げました。メモによると、Daniela は「怒りを爆発させ」、その経営者を呼び寄せましたが、同氏は何も発言していないと否定しました。 このやり取りについて情報提供を受けた一人の回顧によると、アルトマンはその後その主張をしたことを否定した。「そんなこと言った覚えはない」と彼は述べた。するとダニエラは「あなたがそうおっしゃったのです」と応じた。（アルトマンはこの記憶が正確ではないとし、アモダイ夫妻に対して「政治的行為」を行ったと非難しただけだと述べている。）2020 年、アモデイ、ダニエラ、および他の同僚らは去り、Anthropic を設立した。この企業は現在、OpenAI の主要なライバルの一つとなっている。 シドニー対アルトマン ここに一つの確認がある。マイクロソフトの担当者が安全審査委員会の承認を得ずにインドで GPT-4 の初期バージョンをテストし、その結果「シドニー」という概念がトレーニングデータに埋め込まれて恒久的な影響を及ぼしたという逸話であるが、彼は委員会に対してこの出来事が起きたことを伝えることさえ怠っていた。 理事会メンバーであり起業家でもあるマックロイが会議から退出する際、ある従業員が彼女を呼び止め、「インドでの『違反』についてご存知ですか」と尋ねた。アルトマンは理事会との数時間にわたるブリーフィングにおいて、マイクロソフトが必要な安全レビューを完了せずに ChatGPT の初期バージョンをインドでリリースした事実について言及することを怠っていた。「それは完全に無視されていたようなものだった」と、当時の OpenAI 研究者であるジェイコブ・ヒルトンは語った。 OpenAI やアルトマンに対する安全性への真のコミットメントの欠如、および利益優先が安全性よりも優先されていることへの懸念を表明した人々の事例が数多く引用されている。 最高入札者対アルトマン 彼らは「プーチンに提案し、AI を最高額の入札者に競売にかける」という全体像を示している。 [Hedley] は驚愕した：「彼らが異議を唱えなかった前提とは、『我々が議論しているのは、おそらく人類が作り出した中で最も破壊的な技術だ—もしそれをプーチンに売ったらどうなるか？』ということだった」 …ブレインストーミングのセッションでは往々にして荒唐無稽なアイデアが生み出される。Hedley はこの「国別計画」として社内で呼ばれるようになった案が却下されることを望んでいた。しかし、関係者数人および当時の文書によると、OpenAI の経営陣はこの案に対してむしろより一層興奮した様子だった。当時 OpenAI の政策ディレクターであった Jack Clark によれば、Brockman の目的は「基本的に囚人のジレンマを構築し、すべての国が我々に資金を提供せざるを得ない状況を作り出す」ことであり、「それによって資金提供を拒むことが暗黙のうちに危険な行為となる」というものだった。ある若手研究者は、社内の会議でこの計画の詳細が説明された際、「これは完全に狂気の沙汰だ」と思ったと回想している。 経営陣はこのアプローチについて少なくとも一人の潜在的なドナーと議論した。しかしその月の後半、数名の従業員が辞職を口にした後、この案は放棄された。Hedley は「Sam はスタッフを失うことになるだろう」と述べた。「Sam の計算において、『これは大国間の戦争を引き起こす可能性のある良くない計画だ』という理由よりも、スタッフを失うリスクの方が常に重く考慮されていたように思える」。 Brockman は真剣ではなかったと主張しているが、これは実際にはかなり真面目に検討されたことを示す文書による報告である。この提案が真剣に取り上げられたこと自体に、私はむしろ警戒すべきだと考える。 さまざまな資金調達への試みに関する物語を台無しにはしない。それらはあまり美しくない。 彼はツイッターで、兆ドル規模の資金調達を行う意向を突然発表した点に言及する。 2024 年 2 月、『ウォール・ストリート・ジャーナル』はアルトマンの ChipCo に対するビジョンについて記述した。彼はこれを、5 兆から 7 兆ドルの投資によって資金調達される共同実体として構想していた。（「どうせなら 8 兆にしよう」と彼はツイートした。）これが多くの従業員がこの計画を知った方法だった。「みんな、『えっ、何？』って感じでした」とライケは回想する。アルトマンは内部会議で、安全チームが「巻き込まれている（情報を共有されている）」と主張したが、ライケは彼に対して、努力が承認されたかのように誤って示唆しないよう促すメッセージを送った。 リスクを伴う事業 この投稿における共通の通奏低音は、AI のリスク、特に AI による人類存続の危機（existential risks）に関するアルトマンの立場やコミュニケーションの変化である。彼は比較的良好な声から、相対的に劣る声へと移行するにつれて、その姿勢を変えてきた。 リスクについて語ることに彼にとって有益だった時期には、それを強調した。一方、現在のようにリスクを矮小化することに有益だと感じるようになると、彼はそれを矮小化するようになった。しばしば、「マンハッタン計画」の異なる側面を強調するなど、類似した表現を用いる。 私はアルトマンが、ビジネスにとって効率的であるべき期間よりも長く、より率直であったと考えているが、これは明白ではないかもしれない。もし彼が従業員の維持に多くの注力を払わなければならなかった場合、彼は最初から一貫してインセンティブに従った可能性もある。OpenAI は設立当初から、従業員がここを特に高潔な職場だと考えることに依存していた。 アルトマンは、AI の危険性についてそれが流行る前、そしてそのような発言が彼のビジネスと矛盾していなかった時期に警告を発したと引用されています。この記述によると、Google に AI を独占させることを許してはならないという根拠に基づき、ムスクへの貢献を説得したのはアルトマンでした。 強調されている点の一つは、「私たちは正しいことを行う善人である」というメッセージが、OpenAI の設立や、イリヤ・スツチェフスキーを含む重要な初期メンバーの採用において、絶対的な、そして最も重要な売り出しポイントであったということです。これにより、資本調達の費用が大幅に削減されました。 この考え方の中心には、AI が失敗した場合に大きなリスクを伴うことを明確にすること、特に AI が人間の制御から逸脱することが人類にとって存在そのものの脅威となり得ること、さらに権力の集中やその他のリスクがあることがありました。 彼は 2015 年のブログで、超人的な機械知能は「必ずしも悪意ある SF のバージョンである必要はなく、私たちを皆殺しにするわけではない」と述べています。「より確からしいシナリオは、それがどちらにせよ私たちにほとんど関心を持たないことだが、他の目標を達成しようとする努力の一環として……私たちを抹殺してしまう」ことです。 OpenAI の創設者たちは、安全性よりも速度を優先しないことを誓い、組織の定款には人類への貢献を法的拘束力のある義務として明記しました。もし AI が歴史上最も強力な技術となるなら、それを単独で制御する個人が独自に強大な権力を握る可能性があり、創設者たちはこのシナリオを「AGI 独裁」と呼んでいました。 アルトマンは初期の採用候補者に対し、OpenAI は純粋な非営利団体として存続すると語り、プログラマーたちはそこで働くために大幅な給与減額を受け入れた。 アルトマンは引き続き、OpenAI の安全性へのコミットメントと、大規模な投資の約束をアピールし、それを採用活動のツールとして利用し続けた。この記事は 2022 年後半の明確な事例を引用しており、そこでは彼が実際には行わなかったことについて言及している。 「スーパーアライメント」は最初から偽物だった 次に、大規模な「スーパーアライメントチーム」の話に至る。 しかし、2023 年の春に行われた一連の会議の中で、アルトマンは態度を揺らせたように見えた。彼は賞の創設について語るのをやめ、代わりに社内での「スーパーアライメントチーム」の設立を主張した。 公式発表では、同社の計算資源（compute）の保有量に言及し、このチームが「これまでに確保した計算資源の 20% を受け取る」と約束された。これは、10 億ドルを超える価値を持つ可能性のあるリソースである。発表によると、この取り組みは必要不可欠だったという。なぜなら、アライメント（調整）が解決されなければ、人工一般知能（AGI）は「人類の権限剥奪や、ひいては人類の絶滅を招く」恐れがあるからだ。 スートスケバーと共にチームを率いることに任命されたヤン・ライケ氏は、「これは非常に効果的な人材維持策だった」と語った。 しかし、その 20% のコミットメントは消え去ってしまった。このチームで働いたか、あるいは密接に関わった 4 人の関係者によると、実際のリソースは同社の計算資源の 1〜2% に過ぎなかった。さらに、チーム内の研究者は、「スーパーアライメントに割り当てられた計算資源の多くは、実際には最も古いクラスタであり、性能が最も低いチップを搭載したものであった」と述べている。 研究者たちは、優れたハードウェアが利益を生む活動のために確保されていると考えていました。（OpenAI はこれを主張しています。）ライケは当時の最高技術責任者であるムラティに苦情を申し立てましたが、彼女は「その点を執拗に追及するのをやめろ」と答え、「コミットメント自体が現実的ではなかった」と述べました。 …しかし、スーパーアラインメントチームはその翌年に解散し、任務を完了することなく終わりました。 OpenAI とアルトマンは、この出来事と、その約束がいかに価値があり、組織の基盤を支えるものでありながら、その後大きく裏切られたかを記憶から消そうとし続けています。 私が特に怒りを覚えるのは以下の時です： 人々が [X] という約束をします。それは彼ら自身のアイデアでした。 あなたは [X] を根拠に行動を起こします。 何も変わりません。 彼らはあなたに [X] を与えません。 理由を問われると、彼らは「[X] は最初から現実的ではなかった」と言います。 私にも一度、非常に似た形でこのことが起こりました。ある人が特定の条件で新しい会社の設立資金を提供すると申し出たものの、努力がなされた後に（要約すれば）それは現実的ではないと言い、私がその後時間を投資し、修復に数年を要する重要な友情を含む多くのものを失った直後に、はるかに劣る取引を提示しました。そのように進む可能性が十分にあると予測すべきだったのでしょうか？ああ、もちろんそうでしょう。しかし、本音で言えば、許容できることではありません。 これは大丈夫です 時間の経過とともに起こった変化のよい要約は以下の通りです： 昨年 6 月、自身のブログにおいてアルトマンは人工超知能について言及し、「我々は事象の地平を越えた。離陸は始まっている」と述べた。チャーターによれば、これはおそらく OpenAI が他社との競争から手を引き、協働へと転じるべき瞬間だったと言える。 しかし、「穏やかな特異点」と題されたその投稿において、彼は新たなトーンを採用し、存在への恐怖を躍動的な楽観主義に置き換えた。「私たちは皆、より良いものを得るだろう」と彼は書いた。「互いに、さらに素晴らしいものを築いていくのだ」。アライメント問題が未解決であることは認めたものの、彼はその問題を再定義した。致命的な脅威ではなく、Instagram で時間を浪費するよう誘うアルゴリズムのような不便事だと捉えたのである。 嘘つき、嘘つき、巧みな説得者 もう一つの共通のテーマは、はい、アルトマンは非常に多くの嘘をつくという点である。これはもはや驚くべきことではない。 問題は、これらの嘘を個別に切り離して見れば、決定的な証拠（スモーキングガン）にはならないということだ。アルトマンは賢い。しかし、そのパターンを積み重ねてみれば、結果は明確になる。 どちらの文書群にも決定的な証拠（smoking gun）は含まれていない。むしろ、これらは alleged な欺瞞と操作の蓄積を物語っており、それぞれ単独で見れば肩すかしで済むような出来事だ：アルトマンは同じ職を二人に同時に提供したとされ、ライブストリーミングに誰を登場させるかについて矛盾する話をし、安全要件についてはごまかした。しかしスートセバーは、このような行動が「安全な AGI（人工一般知能）の創出に適した環境を生み出すものではない」と結論付けた。アモダイとスートセバーは決して親しい友人ではなかったが、彼らは同様の結論に至った。アモダイはこう記している。「OpenAI の問題点はサムその人だ」。 … 私たちが話を聞いた人々のほとんどが、スートセバーとアモダイの判断を共有していた：アルトマンには権力への執念深い意志があり、名前を宇宙船に刻む産業家たちの中でも際立っている。 「彼は真実によって制約されない」とある取締役は私たちに語った。「彼には同じ人物においてほとんど見られない二つの特質がある。第一は、人々を喜ばせたいという強い欲求であり、あらゆる対話で好かれようとする傾向だ。第二は、誰かを欺くことによる結果に対する、ほぼ社会性障害（sociopathic）とも呼べるほどの無関心である」。 この取締役が「社会性障害」という言葉を使っただけではない。自ら進んでその言葉を口にした人物は他にもいた。 他の人々が指摘している通り、対立する理事会メンバーの主張とは異なり、これらの二つの特性は同じ人物において比較的頻繁に見られるものです。各やり取りで好印象を与えることを最大化することと、反射的な欺瞞を行うこととの間に矛盾はありません。実際、これは（より小さなバージョンですが）カリフォルニアなど特定の地域における一般的な文化的態度と呼ぶこともできるでしょう。 目標は良い雰囲気を作り出し、全員にあなたが望む思考や行動を継続させることです。そのために必要な発言が真実かどうかにはほとんど関心がなく、矛盾する発言を指摘された場合の評判への影響や結果についてもそれほど心配しません。 アルトマンはこの一般的なパターンを極端なまでに拡張しているだけです。 「彼は信じられないほど説得力があります。まるでジェダイのマインド・トリック（念力）のようです」と、アルトマンと仕事をしたあるテック企業の経営者は語っています。「彼はまさに次世代レベルです」。アライメント研究における古典的な仮定シナリオには、人間と高性能な人工知能（AI）との意志の競合が含まれます。そのような競争において、研究者たちは通常、AI が確実に勝利すると主張します。それはチェスでグランドマスターが子供を打ち負かすようなものです。アルトマンが人々を翻弄する様子を見ていると

OpenAI #16：歴史と提案

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト