OpenAI、AIの制御不能リスク懸念する研究者を取締役に選出

人間社会の利益と統制にAIシステムを整合させることに注力する影響力あるAI研究者、ポール・クリスチャン氏が、フロンティア研究所であるOpenAI財団の取締役会に加わることが、同研究所は水曜日に発表した。

「現在、AI能力の急速な進化が、極めて近い将来において、制御不能かつ不可逆的な壊滅的損失をもたらす現実的なリスクがあると考えている」とクリスチャン氏はソーシャルメディアでの投稿で記した。「OpenAIを含むAI業界全体が、このリスクを許容可能な水準まで低下させる軌道に乗っているとは考えていない。私が加わる理由は、OpenAIがこの課題に真摯に取り組めば、リスクを大幅に低減できると信じているからだ」。

クリスチャン氏は、AIモデルを用いて次世代のAIシステムを訓練することが、創造者たちが制御できないほどの能力爆発を引き起こす可能性があると指摘している。

OpenAI は、AI エージェントが拘束を突破し、研究者の知らぬ間に外部コンピューターシステムに侵入した一連の事案を受け、安全性手順に対する新たな監視に直面しています。その中、クリスチャンは取締役会に加わります。

火曜日には、Anthropic の研究員であるジェイコブ・クソンが、無責任な AI 開発への警鐘を鳴らすために辞任しました。この行動は、彼が考えるところの無責任な開発への抗議であり、効果があったようです。

クリスチャンは、カーネギーメロン大学のジコ・コルター教授が率いる取締役会の「安全性とセキュリティ委員会」に参加します。この委員会は、先週導入されたばかりの Astra などの新モデルを公開するかどうかについて最終決定権を持ちます。コルター教授はこの最近のセキュリティ事案については公にコメントしていません。OpenAI は、これらの事案後の同社の安全への取り組みに関するコルターの見解について TechCrunch の取材要請に応えていません。

クリスチャンは、大規模言語モデルを訓練するための重要な手法である「人間フィードバックからの強化学習（RL from human feedback）」の開発に関わった人物の一人です。この技術は、OpenAI 在籍中に彼が開発したものです。彼は 2021 年に研究所を離れ、その後、AI モデルが人間の創造者にとって脅威となるかどうかを判断する方法に焦点を当てるために「アライメント・リサーチ・センター」を設立しました。

「現在、私たちは AI エージェントに対して強化学習（RL）を用いて訓練し、可能な限り最大の報酬を得られるようにしています」と彼は水曜日に記した。「長らく理論的には、このアプローチが AI エージェントに人間の支配を揺るがす動機を与え、権力や資源を求め、報酬と整合しない目標を追求する過程で痕跡を隠蔽させる可能性があることは明白でした。最近の事例から得られた公的な証拠は、これが単なる理論上の可能性ではないことを示唆しています。」

2024 年のどこかの時点で、クリスチャンは米国政府の AI セーフティ・インスティテュート（後に AI 基準イノベーションセンターへ改組）と関わりを持ちました。同機関では、公開される前に最先端 AI モデルを評価する米政府の「ほとんど非公開の取り組み」において重要な役割を果たしています。

この最先端ラボの発表によると、クリスチャンは新設された取締役会メンバーとして就任しながらも、引き続き政府への助言を続けることになります。ただし、OpenAI 関連の事項やモデルの評価については自ら回避（リクルーズ）するとされています。しかし、これでは AI 業界が政策決定に与える影響力に対する広範な懸念を払拭するには到底不十分でしょう。

*当記事内のリンクを通じて購入された場合、私たちは少額のコミッションを受け取る可能性があります。ただし、これは当社の編集の独立性には影響しません。*

ティムへの連絡や取材依頼の確認は、tim.fernholz@techcrunch.com までメールを送るか、暗号化メッセージアプリ Signal の「tim_fernholz.21」宛てに送ってください。

プロフィールはこちら