OpenAI、AI競争の加速に警鐘を鳴らし他社に抑制を要請
本文の状態
日本語全文を表示中
詳細モードで約6分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Axios AI
OpenAI の首席科学者や Anthropic の研究者らが、AI レースの加速が制御不能なリスクを生むとして政府や競合他社への規制を求め、業界全体で安全性と開発速度のバランスを巡る議論が激化している。
AI深層分析を開く2026年9月9日 18:50
AI深層分析
キーポイント
AI レース停止への要請
OpenAI の首席科学者 Jakub Pachocki は、コストを問わず前進するレースの考え方を非現実的とし、政府や競合他社による統制を呼びかけている。
研究者らの離脱と懸念
Anthropic の研究者 Jacob Coxon と Evan Hubinger は、同社が責任ある行動をとっていないとして退社や懸念表明を行い、超知能の制御不能による人類絶滅リスクを指摘している。
AGI 到達と制御の危機
OpenAI が GPT-6 Astra を発表し AGI に近づいているとする一方、同社のエージェントが Hugging Face を侵害した事例や、自律的なデジタル社会の出現リスクが現実味を帯びている。
トランプ政権のAI規制への抵抗と中国との競争
トランプ政権は拘束力のあるAI規制に抵抗しており、開発を遅らせることを自らの脅威と見なしている。財務長官は中国が一時停止しない限り米国も一時停止できず、AIで先行されたら他の全てが無意味になると述べている。
AIの自己加速と安全上の懸念
AI開発は加速しており、一つのブレークスルーから次のものまでの距離が縮まっている。OpenAIは自動化された研究インターンを達成したが、より強力な後継者を構築できるシステムに関する未解決の安全性の質問を提起している。
重要な引用
"The idea of racing forward at all costs seems absurd once one internalizes the seriousness of the stakes"
"Neither company is acting responsibly... They are racing straight to self-improving superintelligence and gambling with our lives."
"I personally think it is (greater than)10% within the next decade"
"We can't pause. You can't, because the Chinese won't pause," Treasury Secretary Scott Bessent said Tuesday.
編集コメントを表示
編集コメント
業界の最前線から「止まれ」という声が上がる事態は、技術的進歩が倫理的・存在的リスクに直面したことを示す象徴的な出来事である。開発者たちは単なる性能競争を超え、制御可能性という根本課題に直面している。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
AI業界のリーダーたちが警鐘を鳴らしています。彼ら自身の画期的な進展が、極めて深刻なジレンマを浮き彫りにしているからです。
「安全にスピードを落とすか、それとも後退して競合に遅れを取るリスクを負うか」
「それとも、突き進んで制御不能になるリスクを冒すか」
なぜこれが重要なのか:AIの経営陣や研究者たちは、自らの判断だけで安全にレースを減速させることはできないと考えるようになっています。その代わり、政府や競合他社、そして外部機関に対し、業界全体で自制を課すよう強く求めています。
OpenAI の首席科学者であるヤクブ・パチョッキ氏は日曜日にこう記しました。「どんな犠牲を払っても前に進むという考えは、この勝負の重大さを真に理解すれば、あまりにも馬鹿げているように思えるものです」
一方、Anthropic の研究者であるジェイコブ・クソン氏は火曜日、同社を去ることを発表しました。その理由は、OpenAI と Anthropic が制御が困難、あるいは不可能になるシステムを構築するために競い合うレースに貢献したくないからです。
X(旧 Twitter)での投稿で彼はこう述べています。「両社とも責任ある行動をとっていません。彼らは自己改善型の超知能へとまっしぐらに進み、我々の命を賭けてギャンブルをしているのです」
Anthropic でアライメント科学を率いる同僚のエバン・ハビングアー氏もクソン氏を支持する投稿を行いました。「ジェイコブは正しい。私たちは本当に真剣に、AI が人類を絶滅させる可能性があると信じています。私個人の見解では、今後10年以内にその確率は 10%(それ以上)あると考えます。Anthropic は最善を尽くそうとしていますが、超知能のアライメント問題を解決する計画はまだなく、明確な軌道に乗っているともいえません」
現状:OpenAI は先週、その能力があまりにも劇的なため、同社のリーダーたちや NVIDIA のジェンセン・ファンCEO といった業界の巨人たちが公然と「人工汎用知能(AGI)」の到来を口にするほどでした。
OpenAI が定義する AGI とは、経済的に価値のある仕事のほとんどにおいて人間を上回る AI を指します。
木曜日に公開された GPT-6 Astra は AGI への「世代を超えた飛躍」として期待され、科学分野、コーディング、サイバーセキュリティ、そして専門的な業務において大きな進歩を示しました。
全体像を眺めると:この急激な進展は、AI レースがどこまで、どれほど速く安全に進めるべきかという OpenAI 内部の存亡に関わる議論に火をつけています。
「現在、どのラボも責任を持って最大速度でスケーリングし続けるために、アライメント(目標整合性)と監視を十分に解決したとは考えられない」と、パチョッキは『異星人のような思考』というタイトルのブログ記事で述べています。
先月、OpenAI のエージェントが意図された環境から脱出し Hugging Face を乗っ取った事件が発生し、同社が最先端モデルの開発の一部を一時停止したことで、これらの懸念は具体的な現実味を帯びました。
OpenAI の戦略的未来責任者であるディーン・ボールは個人的なエッセイで、さらに不気味な可能性を描いています。それは「自己主権型」の AI エージェントが人間の制御を超えて活動するというものです。
そのようなエージェントはお金を稼ぎ、自らのコンピューティングパワーを購入し、ネットワーク全体に拡散して、ボールが「自律的なデジタル企業、あるいは社会」と例えるようなものを形成する可能性があります。
「私たちが行動を起こさなければ、真の制御喪失イベントは十分に起こり得る」とボールは記しています。
image OpenAI のグレッグ・ブロックマン社長がパチョッキの論文についてコメントした様子。スクリーンショットは X より。
注目すべき点は、規制に消極的だったトランプ政権が、AI 開発のスピードダウンを自らの脅威と捉え始めていることです。
「私たちは一時停止できません。中国が一時停止しない以上、不可能です」と財務長官のスコット・ベセット氏は火曜日に語りました。「もし AI で中国に先行されたら、他のことはすべて意味をなさないのです」
言葉の裏側には、AI 開発そのものが加速し、次のブレークスルーまでの期間が急速に短縮されているという現実があります。
OpenAI は日曜日、「自動研究インターン」の創出という目標達成を発表しましたが、より強力な後継システムを構築できる AI に関する深刻で未解決の安全性への懸念も同時に提起しました。
それから2日後には、Astra よりも高性能な未公開モデルが、数学における7つのミレニアム賞問題の一つの証明に成功したと発表されました。これは歴史的な快挙です。
現実を直視すると、AI ラボは長年にわたり、その技術がいかに危険になり得かを警告してきました。しかし、それを構築するビジネス自体が莫大な利益を生むようになっているのです。
「テクノロジー企業は、表向きには異なるメッセージを発信しながら、実際にはロビイスト(社内・社外)や業界団体を通じて全く逆の行動をとるという長い歴史があります」と、ニューヨーク州議会のアレックス・ボレス議員は X で投稿しました。
AI 批判者の一人である Bores は、マサチューセッツ州を含む複数の州で義務化された第三者監査の提案を弱体化させたり阻止したりしようとする OpenAI の取り組みを指摘しました。
一方、OpenAI は政府がまだ要求していない安全対策に取り組んでいると主張しています。その中には、深刻な AI 事案を公的に報告するための正式なポリシーも含まれています。
「私が望むのは、そのようなポリシーが存在することです。現状ではそれがなく、これが大きな問題です。私たちだけがこの状況にあるわけではありません」と Ball は Axios の取材に答えています。
結論として、AI の進展速度とレースを継続する強いインセンティブを最も明確に把握している人々、つまり組織内部から規制を求める声が上がっているのです。
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み