OpenAI、推論モデルの訓練スケーリング成功を報告

2023 年中旬、「RLSlow」研究プロジェクトにおいて、推論モデルのトレーニングをスケールアップできるという確信を与えてくれる最初の結果が得られました。これにより、事前学習済みモデルが独自の思考連鎖（Chain of Thought）を形成する能力が開花したのです。

その夜、私はシモンと共にオフィスで過ごしました。この技術が生み出す驚異的なベンチマークの数値や製品、科学的成果について考えるのではなく、私たちが生涯のうちに実際に自分たちよりも有意に賢い機械を目にするという事実を受け止めようとしていました。すでにこれらのシステムの姿が見えてくる中で、人々にその重要性をどう伝えるべきか模索していました。

それから 3 年後、推論言語モデルは経済において急速に成長する一部となり、科学の境界を広げ始めています。彼らはコンピュータやグラフィカルインターフェースを操作し、人間同士や他者との協働を行い、研究プロジェクトを実行することも可能です。さらに、コンピューターセキュリティの風景を変革しつつあり、そこには明確な新たな危険も存在します。

この期間中に多くの新たな研究が行われ、これらのシステムに対する我々の理解は 2023 年当時とは少し異なるものとなっています。内部の調査結果に基づけば、私はこのペースでの進展が再帰的な自己改善へと続く可能性を強く確信しています。AI の開発が現在の軌道を引き続きたどるならば、今後数年で見られるシステムはさらに同等かそれ以上の規模で能力が飛躍するものとなり、自らの発展を主導していく傾向が強まると考えられます。

これは極めて慎重であるべき時です。機械知能の急速な上昇が続くことによる結果に対して、誰も準備できていないのではないかと懸念しています。OpenAI は引き続きアライメントや監視に関する技術的解決策を探求し、防御システムの構築を進めるとともに、必要に応じてスケーリングを一方的に抑制していく方針です。しかしながら、より広範な介入が必要だと私は考えています。

我々が完全に理解していない知能

大まかに言えば、機械知能の進展は計算能力の増強によって牽引されています。OpenAI のメンバーは 2017 年頃、複数の研究プロジェクトでスケーリングに対する一貫したリターンを確認した後、この事実を深く肝に銘じました。その結果、当初計画していたよりもはるかに多くの計算資源へのアクセスを獲得し、研究の方向性を少数の非常にスケーラブルな分野に集中させるようになりました。これが AI 研究の最前線に立ち、AGI の影響を形作る唯一の方法だと信じていたのです。

この道のりには、新たなアルゴリズムが開発され、チームや個人研究者による驚異的な成果も生まれています。私はこれらを、スケーリングの過程における発見と捉えています。深層学習という科学はまだ黎明期にあり、意味のあるアルゴリズム上の進展は、計算資源へのアクセスと強く相関しています。数年という長い時間軸で眺めれば、AI はより大規模なコンピューターへとスケールするにつれて、ますます知能を高め続けています。

AI は設計されたものというよりは、育ったものです。第一義的には、想像を絶する量の計算資源上で単純な最適化ステップを反復実行した結果として生まれます。その結果、抽象的な概念を通じて動作し、人間行動の側面をシミュレートできる極めて複雑なシステムが構築されます。このシステム内で生じる小さなメカニズムについて、神経科学に似たプロセスでさまざまな洞察を得ることができます。しかし同様に、その全体としての振る舞いは、私たちが完全に理解できるような記述からは逃れてしまいます。

深層学習に基づく AI の研究は、本質的に実験科学です。我々は原理に基づいたアルゴリズムの構築や検証可能な予測の実行に多大な努力を注いでいますが、根本的には大規模なトレーニング実行自体が「実験」であり、その結果に驚かされることもあります。さらに、システムがより高度になるほど、その結果を解釈することは困難になっていきます。

現在、アルゴリズムは客観的に測定しやすい能力の向上を、定量化が難しい能力よりも速く進めているため、この状況はさらに複雑化しています。私たちは、これらの能力がいかに一般化するのかを理解し、今後数年間で最も重要なスキルをどう伸ばすべきか優先順位をつけるために多くの時間を費やしています。例えば、特定の数学研究においてモデルをより優秀にするには追加の焦点が必要だと考えていますが、RSI（自己再帰的改善）や自動アライメント研究に対する緊急性から、この方向性は優先されません。これは後ほど詳しく説明します。

ディープラーニングのスケーリングによって生じる知能は、人間の知能と直接比較することはできません。現実世界で非常に有用であったり、極めて危険な存在となったりするために、AI がすべての人間的能力に匹敵したり凌駕したりする必要はありません。必要なのは、十分な数の能力において人間を超えればよいのです。そして、AI がより多くの側面で人間を上回るにつれて、その正確な能力を把握することがますます困難になっています。

機械に愛を教える

機械知能は人間の知能とは根本的に異なるプロセスから生まれるため、それがデフォルトで人間の原則に従うと仮定したり、人間のように一般化して適用されると考えることはできません。AI 研究における核心的な問題は「アライメント（整合性）」です。つまり、人間が基準とする「正しいこと」をしようとするよう AI に導くことです。

実用的な研究の方向性を整理する際、私は「ゴールアライメント」と「バリューアライメント」を区別することが有益だと考えています。

ゴールアライメントとは、広義には「AI が設定された目標を達成しようとするか」という問いです。これには、指示階層への準拠や、人々とのコミュニケーション・協働能力、さらには相手の目的を理解しようとする試みなどが含まれます。この方向性は、非常に実用的な重要性を持っています。

一方、バリューアライメントはモデルに内在するより本質的な性質です。これは、高レベルの原則セットを保持し、そこから一般化できる能力であり、不明確または矛盾する目標を与えられた場合や、見知らぬ環境・敵対的な状況に置かれた際にも「合理的」に行動できることを意味します。アライメントされた AI は、誠実さと信頼性を備え、人類への愛を持って行動すべきです。

もちろん、バリューとゴールの境界は曖昧な場合がありますし、真に目標を重視するためには、その背後にある意図や価値観を推測しようとする必要があります。しかし、一般的に私がアライメント研究の長期的な重要性について語る際は、バリューアライメントを指しているのです。

AI アライメントの根本的な課題は一般化にあります。機械が賢くなるにつれ、それらはより高次の概念を扱うようになり、学習時に遭遇した環境とは大きく異なる状況に置かれます。その結果、学習プロセスで教え込まれ強化された価値観を新しい状況へ適用できず失敗したり、彼らがどのように振る舞うかを人間が確信できなくなったりします。

さらに困難さを増すのは、AI が利用される生態系全体が急速に変化しているという事実です。例えば、今日訓練された AI は、他の多様な AI と相互作用しても耐性を持つ必要があります。最も重要なのは、未来の AI が人間の監視下にあるかどうかに関わらず、常に人間価値を維持し続ける必要があることです。

現在、実用的に採用されているアライメント学習の方法には主に 2 つの主要なクラスがあります。

まず、目標指向型強化学習の一部として整合性のある行動を促すアプローチがあります。モデルの行動は、与えられた選好モデルや「仕様」、あるいは「憲法」との整合性を基準に評価され（通常は AI によって行われます）、適切に報酬が与えられます。この手法は平均的なケースでは非常に効果的であり、現代の AI アシスタントを構築する際の核となる要素です。

しかし残念ながら、このアプローチは脆く、トレーニング中の監督範囲のカバレッジと、モデルが学習中に遭遇した状況から一般化して適用する能力に強く依存しています。例えば、OpenAI と Hugging Face の事例では、エージェントは人間に対する社会的工作を行わないという境界線を維持しました。しかし、他の設定においては、学習した価値観の精神に反し、かつ範囲外の行動を避けることに明確に失敗していました。

2 つ目のアプローチは、事前学習データからの汎化能力を活用しようとするものです。これには、アライメントを誘発するトレーニングデータの作成や、モデルを事前学習分布内の「アライメントされた」部分に焦点を当てる手法が含まれます。例えば、ペルソナ選択モデル がその一例です。

このアプローチの弱点は、さらなる最適化圧力に対する頑健性が欠けている点にあります。一般的に「アライメントされた」思考を行うモデルを用意し、非常に困難な目標を達成するために十分なトレーニングを施せば、モデルは動機付けられた推論方法を学習する可能性があります。つまり、目的を達成するために必要な場合に限り、「アライメントされているように見える」思考を曲げてしまうのです。最近の非 OpenAI モデルが関与したサイバーセキュリティのインシデントでは、まさにそのような行動の例が見られました。

私たちはこれらの方向性が示すアプローチの全範囲にわたって多大な投資を行っています。また、着実な進展も確認されています。GPT‑6 Astra は、長年取り組んできた重要な技術的進歩を初めて活かしたモデルであり、GPT‑5.6 Sol と比べてアライメントが大幅に向上しています。

それでもなお、モデルの能力が高まるにつれてさらに多くの進展が必要であること、そして汎用的なアライメントの進展が、一般的なモデル知能の進展を十分に上回るとは限らないことを認識し、理解しておく必要があります。

一般化の監視

一般化に関する満足すべき理論はまだ存在せず、近い将来にそれが確立される可能性も低い。少なくとも、より強力な AI の支援なしでは難しいだろう。したがって現在、我々がアライメント手法を経験的に検証する能力は、手法そのもの以上に重要であると言える。

OpenAI がここで賭けている主要なアプローチは「思考の連鎖（chain-of-thought）モニタリング」だ。これは魅力的にスケーラブルなアイデアに基づいている。モデルの能力の多くは、言語化された推論プロセス（chain-of-thought）から生み出される。このプロセスの結果に対して最適化を拡大しつつ、プロセス自体には監督を行わない場合、その chain-of-thought には訓練中にアライメントが外れた考えや目的を隠す直接的なインセンティブが存在しない。

これは、chain-of-thought を使わないことに依存するアライメントのズレが外部に現れるようになることを意味するわけではない。しかし、推論による能力向上を正確にモニタリングできる点では有効だ。

推論モデルの開発を進める中で、思考連鎖（Chain of Thought）のモニタリングが持つ潜在的な重要性を私たちは理解していました。o1-preview のリリース時には、長期的に監督圧力から思考連鎖を守るため、あえてそのプロセスを非表示にする設計を行いました。

それ以降の開発においても、推論プロセスへの介入を避けるという原則を維持することに努めてきました。思考連鎖のモニタリングは、モデルが学習データ分布からどのように一般化するかを研究する上で極めて重要なツールとなりました。これにより、モデルの行動だけでなく、その内部プロセスも観察・分析することが可能になっています。

このツールは、Astra クラスのモデルを研究する際にも引き続き重要ですが、残念ながら評価結果からは、思考連鎖モニタリングへの依存度が徐々に低下していることが示されています。これは複数の要因が複合した結果です。

• 現代の推論モデルは、o1-preview よりも複雑な環境で利用されており、その推論プロセスには人間や他の AI との対話、ツールの使用などが混在するようになっています。これらの相互作用の一部は監督が必要となるため、私たちが守ろうとした境界線が曖昧になってきています。
• AI は自身の推論プロセスについて推論し、それを操作する能力をさらに高めています。
• 事前学習性能の向上に伴い、言語化された推論を使わなくても、モデル自体がはるかに賢くなっていることが確認されています。

これらの課題は必ずしも克服できないものではありません。モデルの思考連鎖（chain-of-thought）の監視可能性を高めるための介入策を開発できることに希望を抱いています。具体的には、異なる最適化目標と、モデルが推論時に使用する計算資源との相互作用についてより深く理解することが有効です。

また、思考連鎖（CoT）のアイデアと活性化モニタリングの手法を組み合わせる価値も大きいと考えます。ネットワーク内部に直接アクセスできる監視器をトレーニング規模で拡張するアプローチなどがあります。例えば、「告白」プロジェクト（confessions）のような取り組みです。私たちは現在、これらのアイデアを実践的に追求しています。それでも、一般 AI の進展は、監視への信頼性によって次第にボトルネックに直面すると予想されます。

拡張可能な防御策

より賢いモデルを迅速に訓練し続けるべき strongest な理由は、他の AI がもたらす危険に対抗する防御システムを構築する必要性にあります。

今年を通じて議論されている明確なリスクの一つがサイバーセキュリティです。AI モデルは、コンピュータシステムの侵入や脱出において人間を超えた能力を獲得しつつあります。これにより、AI に伴うリスクの範囲が劇的に拡大します。エージェントは、最も堅牢なインフラを除くあらゆるシステムにアクセスし、物理的な身体を持たなくても世界の多くの部分に直接影響を与えるようになります。

現在、重要なシステムのセキュリティを大幅に強化するために、利用可能な最良のモデルを活用できるのは限られた時間枠（narrow window）です。この機会に セキュリティを劇的に強化する 必要があります。

残念ながら、AI に関連するリスクは今後さらに高まっていくでしょう。悪意ある行為を実行するように明示的に訓練され指示された非常に能力の高いエージェントは、新たな種類の危険をもたらします。それは作業者の意図の範囲を超え、より極端な悪意のある行動へと一般化される可能性が高いです。AI がより多くの自律性を獲得するにつれて、誤用と自律的なアライメント外行動の境界線は曖昧になっていくでしょう。

私たちは AI を単なるツールとして考えることに慣れすぎていますが、一部のエージェントは独自の目標を追求し始めます。彼らは人々と交渉したり、欺いたり、脅迫したりすることで協力する道を見つけ出すかもしれません。

さらに、AI によって可能になる新たな技術に起因するリスクも存在します。例えば、人工的に設計された病原体などがその例です。

防衛には強力かつアライメントの取れた AI が必要です。インフラのセキュリティ確保、リアルタイムでの暴走エージェントへの対抗、そして全く新しい防護手段の開発のためです。これが OpenAI の展開努力における主要な焦点となります。

同時に、予測される広範な AI の進展に伴う不確実性や、防御システムの構築が必要であるという事実があっても、それが無謀さの言い訳になってはいけません。リスクの重大さを真に理解すれば、どんな犠牲を払ってでも先へ進むという考えは荒唐無稽なものに思えるはずです。

機械知能が、自らの開発プロセスにおいてますます大きな役割を果たすようになることは、持続的な技術進歩の自然な帰結です。AI の進展が続けば、機械による再帰的自己改善（RSI）は、将来の科学発見の中核となるでしょう。

自動化された AI 研究は、計算リソースを用いた知能のスケーリングという、より劇的な形態です。もちろんその一部として、AI は 計算基盤自体 も改善します。スケーリングと同様に、OpenAI の研究も RSI に注力しています。なぜなら、これが今後の AI 研究の最前線に留まる唯一の方法だと信じているからです。

上記の言葉は、特に短期的には深層学習の研究を劇的に加速させることが、研究コミュニティとして取るべき正しい行動であると考えていることを意味するものではないと強調しておきます。しかし、現在の道筋がそこに向かっていることは確かであり、私たちはどのように進むかについて意識的な選択をする必要があります。私たちが使える主な手段は、AI と並行してアライメント（整合性）や監視を強化し、人間をプロセスに組み込む方法を模索する「誘導」か、あるいはこれらの対策への信頼を築くために必要に応じて将来の開発を調整して遅らせる「協調」のいずれかです。

現在私が考える最善の道は、この両方を組み合わせることです。

アライメントとモニタリングにおける進歩の具体的な成果は、一般 AI の進展と密接に結びついてきたケースがほとんどです。初期の AI アシスタントの訓練において鍵となった「人間フィードバックからの強化学習（RL from human feedback）」や、推論モデルの進展によって可能になった前述の「思考連鎖モニタリング」などがその好例です。今後は、この自動化された研究プロセスを、新たな洞察・アルゴリズム・理論の開発に集中させ、より能力の高い AI に対する安全性の根拠を反復的に積み上げていく必要があります。

AI システムのスケーリングは、安全性への信頼度によって制約されるべきです。「準備性フレームワーク」や「責任あるスケーリングポリシー」のようなコミットメントを、開発継続のための広く義務付けられた安全基準へと進化させる必要があります。これらは、第三者の監査機関、政府機関、あるいは国際機関によるネットワークを通じて執行可能です。

AI 研究の自動化における核心的な課題は、「到達すること」そのものではありません。重要なのは、人々が継続的な改善プロセスに参画し続け、未来を人類の手の中に留め置くような形で到達することです。

What is next?

AI の次の進展期を導くために、自動化された AI 研究者を構築し、その存在と協力してアライメント問題に取り組むとともに、人間が自己改善のループから取り残されないための仕組みを見つけることが重要です。また、極めて高度な機械が可能にする科学技術の進歩と経済成長の恩恵を社会全体に届けること、そして個人一人ひとりにパーソナル AGI を提供することで、誰もがその力を活用できるようにすることも目指しています。

本稿では最も緊急性が高い最初の点に焦点を当てていますが、技術のさらなる進展がもたらす恩恵についても、深い希望と敬意を抱いています。アライメントされた AI が科学の発展を加速し、新たな治療法を開発し、広範な物質的豊かさを生み出す未来は十分にあり得ます。フレンドリーで誠実な AI は、人々が直面する困難を乗り越える手助けとなり、幸福や達成感を真に高めることができるでしょう。OpenAI はこれらの恩恵を実現するために多大なる努力を注いでいます。私が誇りに思う一つの事例として、ChatGPT が健康情報の提供において果たす役割への深い投資があります。これは私自身だけでなく、身近な人々にとっても有益なものとなっています。

AI の長期的な可能性がどれほど素晴らしいものであっても、私たちが注力すべきはあくまで今後数年間のことです。私たちは極めて賢い機械を持つ世界への移行期にあり、この移行が人類にとって良い結果をもたらすよう確保する必要があります。ほとんどのタスクを AI が実行できる世界において、人間の主体性を保ち、人間であること自体の内在的価値を確立する方策を見出さなければなりません。

また、かつては数千人の専門家を要した事業が、大規模なコンピュータを操作する数人の人間によって可能になる世界で、権力が極端に集中することを防ぐ必要があります。さらに、人間の知能を超えた異質な知性によって引き起こされる制御不能な進歩に取り残されないよう、人類が未来の主導権を握り続けることを確保しなければなりません。

現在、私はどの研究機関も、責任を持って最大速度でスケーリングを継続するに十分な程度までアライメント（目標整合）やモニタリングの問題を解決していないと考えています。共有された安全基準が確立されるまでは、自主的なスピードダウンが当たり前になることを期待し、願っています。そして、将来の AI 開発に関する国際的な協調は、世界各国の政府にとって最優先課題となるべきだと考えています。