AI #161 Part 2: Every Debate on AI｜AI #161 第2部：AIをめぐるすべての議論

AI に関する議論。AI に関する議論は決して変わらない。 それは実際には真実ではない。しかし、常に関与し続けなければならない私たちにとって、ある程度非常に苛立たしいほどに真実である。特に誰かが「一時停止」という言葉を発した場合だ。実際にそれを支持するかどうかにかかわらず。もう一度やってくれ、サムよ。 一方、何が大きく変わっているかご存知ですか？実際の AI の能力だ。それと戦争もそうだ。 いずれにせよ、今週の政策、議論、そしてアライメント（調整）の側面を紹介しよう。 目次 OpenAI 財団は存在する。しかし、その supposed purpose（想定される目的）に焦点を当てることは続かない。 議会は存在する。その supposed purpose（想定される目的）に焦点を当てようとする試みがいくつかある。 中国が自滅する。中国は Manus の創設者たち出国を防ぐ。 生存への渇望。調達法を一般的な AI 政策として利用しようとする試み。 アレックス・ボレスの注目。彼は Vanity Fair とインタビューを行う。 あなたは連邦枠組みを受け取った。GSA（一般管理庁）を除けば、いつもの通りだ。 チップシティ。ついに大規模なチップ密輸事件を摘発した。 水が至る所に。ゲルマン・アムネシアとしての水使用。 バーニー・サンダース上院議員が本物らしく行動する。彼は AI に対してかなり警戒している。 電話をかけろ。カスリーン・ヒックスは Axios に対し、中国は呼びかけに応じるだろうと語る。 修辞的な革新。AI の一時停止に関する議論、あるいは死にたくないという試みに関する議論のすべて。 私は意識あるロボットだ。オウィン・エヴァンスは、意識を主張することが行動を変えることを発見した。 ズヴィに論文を読ませる方法。それを『トレーニングのためのメタゲームの重要性』と呼べばよい。 人々は本当に AI を嫌っている。ウィル・マニディスが最新バージョンを提供する。 「AI 反対抗議」からの挨拶。写真、要約、および反応。 モデルには目標がある。それがすべての文脈で確実に現れるわけではない。だが、確かにあるのだ。 もし私が二面性を持つなら、この顔を装着しているだろうか。引用における対比。 他の人々は AI によって全員が殺されることほど心配していない。ここはマイクだ。 OpenAI 財団が存在する OpenAI が非営利組織から会社の大半を実質的に乗っ取った成功の後、OpenAI の非営利組織には依然として相当な資金が残されている。彼らはそれを何に使おうとしているのか？ OpenAI 財団：この取り組みはまさに始まったばかりだ。今後1年間で急速に規模を拡大する中で、財団は生命科学と疾患の克服、雇用と経済への影響、AI のレジリエンス（耐性）、そしてコミュニティプログラムに対して少なくとも10億ドルを投資すると見込んでいる。これには、以前発表された「疾患の克服と AI のレジリエンス」に対する250億ドルコミットメントに向けた初期投資も含まれる。 彼らは健康分野の責任者としてジェイコブ・トレフェーテンを選んだ。彼は誰もが認めるほど有能であり、このようなプロジェクトに最適な人材だと評されているが、AI セーフティ（安全性）への資金不足という劇的な欠如を指摘しにくくするためにあえて雇われた可能性が高いとも指摘されている。 「AI のレジリエンス」取り組みの責任者には、OpenAI の共同創設者であるウォイチェク・ザレムバが選ばれた。彼は当初から存在リスク（エグジステンシャル・リスク）を軽視してきた経歴で知られているが、少なくとも今はそのリスクを「真剣に受け止める必要がある」と言うことには寛容だ。 David Krueger: Wojciech は、私が「それがクールになる前」に x-リスク（存在リスク）を心配していたことを狂気だと呼んだ人々の一人です。ICML 2016、ニューヨーク。 OpenAI に残っている人々は、安全性を心配している人たちではありません。 Wojciech Zaremba: AI は明らかに非常に高度化しており、x-リスク（存在リスク）は真剣に受け止められなければなりません。取り組むべき重要な仕事が山積みです！ 健康分野は素晴らしい活動領域ですが、この分野内での実行がうまくいくことを期待しています。しかし、これがこの財団が存在する目的ではありません。アルツハイマー病を治そうとすることで、人類が AGI（汎用人工知能）の生存を保証したり、その恩恵を受けたりすることはできません。 私はアルツハイマー病の治療をすべきではないと言っているわけではありません。しかし、「お前にはたった一つの仕事があったはずだ」と言いたいのです。それは非常に重要な仕事でした。そして、病気の治癒や健康分野における公的データ、あるいは高死亡率・高負担の疾患における進展加速に取り組む財団は他にもたくさんあります。 もし OpenAI 財団が AI セーフティ（安全性）に多額を費やし、さらにその上でこの十億ドルを健康分野にも投じていたなら、素晴らしいことだと私は思うでしょう。しかし、現実はそうではありません。 彼らは次に雇用と経済への影響、「AI レジリエンス」について言及しています。これは AI が子供や若者に与える影響、バイオセキュリティ（生物安全保障）、そして最後に AI モデルの安全性へと分類されます。 Dean W. Ball: 素晴らしいニュースです！もしこの財団が B または B+ の仕事でも果たし、アメリカおよび世界のさまざまな政府によってデフォルトでその富を略奪しようとする試みから乗っ取られることを回避できれば、おそらく AI に関するすべての政府行動を合わせたものよりも多くの善を行えるでしょう。 さて、すでにその富のほとんどは OpenAI に略奪され、残りの富も「AI」という接尾辞を付けられた、聞こえの良い一般的な事業へと主に再配分されています。したがって、これまでの実績はあまり芳しくありません。 Sam Altman の発表記事を読めば、同じく古びた「AI は課題と複雑な創発的効果をもたらすだろう」といった陳腐な言葉が並んでいるのがわかります。しかし実際には、AI がもたらすのは、さまざまな経路を通じて人類を絶滅させるリスクでありながら、財団の活動という文脈さえ含めて、それを口に出して言うことは許されないのです。 Sam Altman（OpenAI CEO）：AI は新しい科学の発見、例えば病気の治癒法の発見などを助けるでしょう。これは長期的に生活の質を向上させる最も重要な方法の一つかもしれません。 また、AI は社会に対して新たな脅威をもたらすことになりますが、これに対処する必要があります。どの企業も単独でこれらのリスクを十分に緩和することはできません。新しい生物学的脅威や、経済への劇的かつ急速な変化、社会全体に複雑な創発的効果を引き起こす極めて高度なモデルなどに対し、社会全体の対応が必要となります。 これらが OpenAI 財団が当初重点を置く領域であり、私の意見では、私たちが正しく取り組むべき最も重要な分野の一つです。財団は今後1年間で少なくとも10億ドルを支出する予定です。 これは、実質的に何もないことを言うために、あまりにも多くの言葉を使っているだけです。 また、総資産に対する支出額もそれほど多くはありません。はい、10 億ドルは 100 万ドルとは違ってクールだということは皆承知しています。しかし、その財団は価値の大部分を奪われた後であってもなお 1,000 億ドル超の価値があり、2026 年にはその価値の 1% 未満を支出する見込みです。主に差し迫った特異点や関連するリスクとは無関係な事象に充てられます。一方、OpenAI は AI の研究開発（R&D）の自動化を目指し、2028 年に特異点を開始しようとしています。 彼らの提案は、またしてもほとんど何もないものです。 ケルシー・パイパーはこれを実際には良いことだと述べており、その説明は、彼女が実際に何もないという提案を期待していたため、「ほとんど何もない」ことは改善であると見なしているからです。 ケルシー・パイパー：彼らが安全研究に 1 ドルでも資金を提供するとは決して予想していませんでしたが、これは私にはあまりにもメタ的すぎるように感じます。良いことをしている人々が、それを批判しにくくするという理由だけで、無意味なことをしている場合よりも「悪い」ことだと考えるアイデアは好きではありません。 病気の治癒は本当に素晴らしいことです！AI のレジリエンスに関する取り組みが実際に良いかどうかは別として、それが有害であるという点で批判されることはあり得ます。（それが単に無益であるだけでなく、積極的に逆効果/有害になると予測することは完全に正当な主張です）。 オリバー・ハブリーカ：つまり、あなたは反対派による乗っ取り（opposition-capture）がどのようなものだとお考えでしたか？研究所が批判者からの免責と引き換えに、人々に本当に良いものを提供し、実際に良いことをしないとはお思いになりませんでしたか？ 例えば、これは明らかにサム・アルトマンが取り組んでいるレベルであり、これまでにかなりうまくいっています。これが起こっていることの非自明な一部であると考えるのは、私にはあまりにも過剰に警戒しすぎているとは思いません。 良いことを良いと認識することが重要であることに同意しますし、ここではそれを軽視しているわけではありません！しかし、この場合、このように見えることが効果的な反対派の取り込みのように思えることによるデメリットの方が、はるかに大きいのです。 サム・アルトマンが OpenAI がこれらの事業を自らのポケットから資金提供すると発表した場合、あるいは他の億万長者がこれを新たなプロジェクトとして発表したのであれば、私は「これは素晴らしいことだ」と言うでしょう。良いことは良いのです。 しかし、それは OpenAI の非営利法人の目的ではなく、またここでの規模は非営利法人の資産や能力を反映していません。標準的な手続きでは、毎年資産の 5% を支出する法的最低限が求められますが、スーパーインテリジェンスが数年以内に到来すると考えるなら、そのペースを大幅に上げる必要があるでしょう。 David Manheim (Home): @OpenAI ファウンデーションは、営利法人化することとの引き換えに、州の司法長官および一般市民に対して、会社の価値の 27% を慈善活動に充てることを約束しました。 彼らは実際にそれを実行する必要があります。 なぜ彼らがもっと大きく、迅速に取り組む必要があるのかを説明する投稿があります。 どうやらこの財団の資産のほとんどは、実質的に乗っ取られ、二度目の窃盗に遭ったようです。それは外見上も実際に良いものに見えるが、人類が AGI へ移行する際に私たち全員が消滅しないようにするための支援にはほとんど寄与せず、またその資産は問題となるほど遅い時期まで使われずにいるのです。恥知らずなことです。 議会が存在する エリッサ・スロットキン上院議員は、Anthropic と DoW（戦争省）の対立で提起された課題に正確に対処するために、「AI ガイドライン法」を提案しました。これはまさにその課題に対応する正しい方法であり、すなわちルールを定めた法律を可決することです。特に以下を義務付けるものです。 核兵器の殺傷連鎖（キルチェーン）には常に人間が関与していなければならないこと。 これは国防省指令 3000.09 を法典化し、国防省が「適切なレベルの人間的判断と監督」なしに自律型武器システムを用いて致命的な力を使用することを禁止します。 しかし、戦争大臣は「極めて特別な国家安全保障上の状況」が必要であると判断した場合、この規定を最大 1 年間延期・免除することができます。現時点では、このような緊急権限が、明白な緊急事態の有無にかかわらず、政府の通常の運用において使用されるものと想定すべきです。 DoW は、データの出所に関わらず、「個別化され、論理的に説明可能な法的根拠」なしに、米国国内における人々や集団の監視、追跡、プロファイリング、または標的設定に AI を使用することを禁止されています。 核兵器の発射禁止は鉄壁のように見えるし、おそらくそれは決して関連しない場所だろう。なぜなら、そもそもそんなことはしたくないからだ。しかし、人間が本質的に AI の助言を聞くことを止めるものはまだ何もない。これは非常に現実的な将来シナリオだ。 他の規則は、回避するのがずっと容易そうに見える。 監視に関する核心的な禁止事項は、「個別化された、論理的に説明可能な法的根拠」なしに米国の人々を監視し、追跡し、プロファイリングし、標的にすることのみを対象としている。裁判所や弁護士は、そのような規定を寛容性を有利にするように歪んで解釈すると考えるべきだ。同様に、修正第一条の保護には「単に～のため」という表現が含まれており、これはトラックで通り抜けられるほど非常に緩いものだ。 自律型兵器については、国防総省（DoD）は判断レベルを「適切」であると宣言すればよい。どのレベルも適切ではないと述べるか、あるいは免除条項を利用することもできる。使用を正当化するためには、AI の誤り率が人間の誤り率と同じ程度であればよく、これはそれほど高いハードルではない。 私は弁護士ですらなく、ましてや国家安全保障の専門家でもないため、代替となる法的文言を提案する適切な人物ではない。この試みは限定的な効果はあるが、本質的な解決策ではないと確信している。これは象徴的な最初の試みとしては問題ないが、実効性のある法律としては不十分だ。 問題は、両方のことを同時に求めることはできない点にある。つまり、どちらかを選ばなければならないのだ： 法が実際に政府を拘束するかどうか——たとえ高価になっても…… あるいは、そうではなく、政府は思うままに行動できる。 憲法および私たちの政府システム全体は、選択肢の「1」に基づいています。政府はしばしば第一修正、第二修正、第四修正、第五修正など、多くの他の制限と対立し、これらを非常に面倒だと感じています。それでよいのです。 中国が自滅 Meta は Manus に対して多額の資金を支払おうとしましたが、中国は「待った」をかけました。 ブルームバーグ：FT の報道によると、中国当局は Manus の共同創業者二人の出国を禁止し、米国のソーシャルメディア大手 Meta による急成長中のエージェント AI スタートアップ買収に対する監視を強化しました。 Cate Cadell と Nitasha Tiku（ワシントン・ポスト）：FT の水曜日の報道によると、北京当局は、米国のソーシャルメディア大手 Meta が同社を 20 億ドルで買収する際の審査中、シンガポール拠点の AI 企業から二人の執行役員の中国出国を禁止しました。 Xiao Hong と Ji Yichao はそれぞれ Manus の CEO およびチーフサイエンティストですが、この買収に関連する外国直接投資報告規則違反の可能性について今月北京に召喚され尋問された後、出国できないと通告されたといいます。 Tyler Cowen：ワシントン・ポストからの追加情報です。私の見解では、AI における米国のリードは、単なるモデル比較が示唆する以上に大きいものです。 Dean W. Ball：もし私たちが賢明であれば、これを中国による大きな自滅行為と捉えるはずです。国家安全保障に偏った公共政策は往々にしてそうなるものです。政府が送っているメッセージはこうです。「会社を設立したいなら、特にソフトウェアで収益を得たいなら、まずシンガポールに移住してください（GPU も入手しやすい！）。 もしあなたが技術系企業の創業を考えている優秀な若き中国人市民であれば、成功しても出国できず、かつ高収益での出口戦略も許されない場所で事業を起こしたいと思うでしょうか？ これがフロンティア・ラボの事例であればまだしも、その場合でも劇的な萎縮効果をもたらすでしょう。しかし実際はそうではありません。これは Manus の話です。つまり今や、何を作ろうとしているかに関わらず、すべての潜在的な創業者はこの点を長く深く考えるべきです。そしてはい、もし可能なら私は Dean の助言に従い、他の場所で事業を構築するでしょう。 Dean W. Ball：明確にしておきますが、自己破滅的で類人猿的な国家安全保障政策は、米中両文明が共有している共通点の一つです。もし私が北京の AI 政策プランナーであれば、DoW と Anthropic の件についてシャンパン（または国内の同等品）を開けて喜んでいるでしょう。 中国による自壊行為がアメリカの自壊行為を正当化するために利用される際、常に非常に苛立ちを感じます。まるで CCP が常に素晴らしい決断を下しているかのような印象を与えるからです。 生存への探求 AI に対して「軽量な連邦枠組み」を提案しながらも、調達を通じて間接的に規制し、特にアジェンダ項目 5 を明確に違反させることが可能です。 もし AI を法律によって規制しなければ、彼らは結局、法律なしでそれをすることになるでしょう。 ジェシカ・ティリッップマン：（囁くように）あなたに規制機関を与えず広範な先占権を付与する同じ文書が、Anthropic/ペンタゴンの大失敗と提案された GSA 条項をもたらすものです。 この枠組みは調達に関する記述がなく、これはより多くの個別の契約によるガバナンスへの招待状であり、規制の代替案よりも透明性が低く、一貫性に欠け、救済手段も乏しくなります。 次の取引において最も大きな交渉力を有する実体が、この「軽微なタッチ」の規制緩和枠組みと全く逆の結果を生み出すとしても驚かないでください。 私はこれで失礼します。皆さん、良い週末を。 ジェシカ・ティリッップマン：GSA の草案 AI 条項に関するコメント提出期限は、2026 年 4 月 3 日まで延長されました。 マディソン・アルダー：一般サービス庁（General Services Administration）は、主要な連邦調達プログラムにおける政府と AI サービスプロバイダーとの関係を定義する草案契約言語のタイムラインを、業界からの延長要請を理由に後押ししました。 …「MAS モッドを通じてこれほど実質的なものが推進されようとした例を見たことがないと思います」と、政府契約に焦点を当てた Burr & Foreman のパートナーであるケルシー・ヘイズは FedScoop に語りました。 「私は GSA のコンサルティングにほぼ 20 年間携わってきましたが、このようにしてこれほど大きな変更が行われるのは初めてです」とオーベル氏は述べた。「通常、このような規模の政策転換は正式な規則制定手続きを経て行われ、MAS の入札更新において予期せず現れることはあり得ません。」 先週見られた通り、ジェシカ・ティリップマン氏は、現在の草案条項が『ハンマーによるガバナンス』であり、最悪のアクター以外のいかなる主体によっても生成 AI が連邦政府に提供不可能になる可能性があると説明しています。 ジェイソン・ミラー氏は、アンソロピック社を殺害しようとする試みと新しい GSA の文言の両方が、業界や連邦機関が政府への AI 統合に参加するよう促すトランプ政権の取り組みを妨げていると指摘しています。AI アクションプランはこの点で素晴らしいものに見えましたが、これらの行動の組み合わせは潜在的なベンダーを恐れており、それは当然のことです。 ジェイソン・ミラー氏：「イラン戦争において AI があらゆる種類の標的設定に使用されており、それが非常に目覚ましい成果を示したという事実が示すように、政権は契約条件について誰かがあなたと意見が対立した場合、解決策を交渉できないなら、その企業を政府から、ひいてはビジネス全体から排除するという環境を作り出しています。これは全米の AI 企業に対してどのようなメッセージを送るのでしょうか」と、報復を恐れて匿名を希望したある業界関係者は語った。 アンソロピックに対する攻撃が報復以外の何物でもないという幻想を抱いている人はいない。GSA は政府内のすべての調達に対してさらに極端な要求を突きつけている。物流的に不可能な要求を出す政府に対し、なぜ自社の企業が次の標的になるリスクを負いたいと思うだろうか？ ジェイソン・ミラーは「現在草案として書かれている AI 利用規約への組織の対応は、数多くの理由から極めて困難である」と述べた。匿名を希望したもう一人の業界関係者も報復を恐れて名乗り出なかった。「もし行政からのこの包括的なメッセージが続けば、ベンダーや機関は AI ツールの販売・購入経路として『スケジュール』から離れ、双方が AI ツールを消費・販売するための他の手段を探すようになるだろう」と予想される。 一方、国務省では新興脅威局の設立が進められている。その新興脅威とは何か。イラン、中国、ロシア、北朝鮮、あるいはテロリストによる技術、特に AI の軍事化である。これは完全な『敵対・悪用』を前提とした姿勢だ。 やらないよりはマシという考え方はもっともなので、マルコ・ルビオがまた新たな提案を投げかけたことを嬉しく思う。 アレックス・ボレスの監視 メタ社と a16z が無数の数百万ドルを投じて攻撃している候補者であるアレックス・ボレスに対するヴァニティ・フェア誌のインタビュー記事を紹介する。 もし彼らが攻撃していなければ、彼はヴァニティ・フェアに登場しなかっただろう。彼らはこの手の戦いには不慣れだ。 Joshua Achiam: 私は、AI 支持派ロビーによる Alex Bores 氏を葬ろうとする試みが、後になって無駄な自滅行為として広く理解されるだろうと確信しています。あの広告は『パークス・アンド・レクリエーション』のキャサリン・ハンが演じるような自己パロディの域を出ず、真面目な要素は何もありません。 この問題における政治状況はあまりに悪化しています。AI は人気がないのだから、彼を AI 対抗の『国民的英雄』のように見せるためにさらに強硬姿勢をとろうというのでしょうか？いいえ、そんなことは Bernie がデータセンターの建設停止を訴えている年において、D+Infinity 地区で通用するはずがありません。 政策立案もまたひどいものです。親 AI 派の皆様へ：Alex Bores 氏のような、この問題について実際に情報を得ており、思慮深く、信頼でき、かつ生産的な人物に対する代替案が何であるかご存知ですか？その答えは、あなた方が好むものではないでしょう！ （私は現在、OpenAI の安全に関する立場を誤って表現されたことに少し腹を立てている身としてこのように述べていますが、それでもなお、彼の後に来る他の人々と比較すれば、彼は遥かに合理的である可能性が一万倍高いのです！） 私が理解できるのは、最大の争点となっているのが、AI 安全性を通じて EA（Effective Altruism：有効利他主義）との準公式なつながりを感じさせるという点だということです。しかし、EA を究極の悪魔として扱うのをやめなければなりません。また政治的には、誰も EA が何者か、SBF が誰かを知らないのです。このアプローチはほぼあらゆるレベルで機能していません。 私は、すべての側面にある賢明で善意を持つ人々が、「ユダヤ人の人民戦線」のスケッチを 24 時間 365 日演じ続け、自分たちより左か右にわずか一歩ずれた互換性の高い同僚を、死闘を繰り広げるべき永遠の敵として指定する運命にあると感じています。 Daniel Eth（はい、Eth は私の実際の姓です）：Joshua がこのスレッドで、OpenAI と a16z が主導して Alex Bores 氏を攻撃しようとする試みを非難した点について、大きな敬意を表します。このスレッドは政策決定に関する merits の観点からも正しく、AI の政治性についても賢明な指摘をしています。より多くの OpenAI 従業員がこれに反対する声を上げることを奨励します！ Peter Wildeford：完全に同意します。OpenAI の Greg Brockman、a16z の Marc Andreessen、Palantir の Joe Londsale が運営する SuperPAC は、恥知らずにも大胆不敵であり、政治と政策の両面でひどく不適切です。これを理解するには OpenAI のチーフ・フューチャリストである必要はありませんが、それは

AI #161 第2部：AIをめぐるすべての議論

背景や根拠まで確認しますか？

調べる

選ぶ

サイト