OpenAI、AGIの民主的ガバナンスと透明性に関する内部視点を公開
本文の状態
日本語全文を表示中
詳細モードで約17分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
OpenAI News
OpenAI は AGI の民主的ガバナンスを目的に、人間監督下で研究タスクを実行する自動化された AI 研究者(リサーチインターン)の達成を発表し、開発プロセスの加速と安全性向上への道筋を示した。
AI深層分析を開く2026年9月7日 01:36
AI深層分析
キーポイント
自動化 AI 研究者の実現目標
OpenAI は人間監督下で複雑な研究タスクを遂行する「リサーチインターン」の達成目標を2024年9月に設定し、現在はその実現に向けた強い進展を示している。
コーディングエージェントの使用拡大
研究者は日常的に並列セッションでコーディングエージェントを活用しており、コード貢献速度や実験回数が急速に増加し、研究プロセスの加速が確認されている。
人間による最終判断の維持
自動化ツールは研究を加速するが、研究優先事項の設定、アイデアの選別、スケーリングや展開の決定権は依然として人間が保持している。
安全性とアライメントへの貢献
自動化 AI 研究者はコスト削減だけでなく、アライメント問題の解決や高度な AI に対する防御策構築にも寄与し、社会福祉の向上を目指す。
RSI追求の是非は民主的選択に依存
迅速な自己改善(RSI)の実現が望ましいかどうかは、人間の制御を維持できる能力と、利益・リスクに関する informed な民主的な選択次第である。
重要な引用
For AGI to benefit all of humanity, we believe it must be democratically governed.
We aim to safely build an automated AI researcher that can work under human supervision to further progress on deep learning and alignment, enabling iterative improvements.
People still set our research priorities, judge which ideas and results to pursue, and decide whether to scale, pause, or deploy systems.
Whether and how to proceed must depend on our ability to preserve human control and on informed democratic choices about the benefits and risks.
編集コメントを表示
編集コメント
OpenAI が掲げる「自動化 AI 研究者」は、単なる効率化ツールを超え、研究の民主的ガバナンスを実現するための基盤として位置づけられている。人間が主導権を握りつつも、ツールの能力向上がアライメント問題の解決に寄与する点は、今後の業界動向を注視すべき重要な転換点である。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
AGI が人類全体に恩恵をもたらすためには、民主的なガバナンスが不可欠だと私たちは考えます。その実現には、高度な AI システムの能力、リスク、そしてセーフガードについて、一般市民が十分な情報に基づいた議論を行うことが唯一の道です。人々は、フロンティア AI の将来の軌道を理解し、その発展に意味ある声を届ける必要があります。
特定のリスクやインシデント、セーフガードに関する透明性は必要ですが、それだけでは不十分です。私たちは、最も能力の高いシステムがどのように進化しているか、そしてフロンティア研究所内で研究をどう推進しているかを、一般市民にも理解してもらうべきだと考えています。
私たちは、人間の監督下で動作し、ディープラーニングとアライメントの進展に貢献できる自動化された AI 研究者を安全に構築することを目指しています。これにより、反復的な改善が可能になります。私たちの測定によると、昨秋に発表された目標(こちら)である「今年 9 月までに自動化された研究インターンを完成させる」という達成に至りました。ここで言う「研究インターン」とは、熟練した研究者でも数日かかるような明確に定義されたタスクを、人間の指示のもとで実行できるシステムを指します。私たちは、2028 年 3 月までに自動化された AI 研究者の創出に向けて着実に前進しています。
今年、OpenAI の研究者たちの日常業務は大きく変化しました。研究者たちは一日中コーディングエージェントを活用しており(並行して複数のセッションを同時に開くことも多く)、その利用総数は急速に増加しています。この成長率は他の OpenAI チームの伸びを上回るペースです。コードへの貢献速度が上がり、実験の実行数も増えています。
エージェントの利用方法自体も変化しています。エージェントはより複雑なタスクを処理できるようになり、成功する頻度も高まっています。AI 研究は多くのボトルネックを抱える複雑なプロセスであるため、これらの具体的な数値の伸びに比例して全体的な進歩のスピードが常に加速し続けるわけではありません。
しかし全体として、これらの知見は私たちが内部で共有している広範な印象と一致しています。つまり、エージェント型ツールが研究の進展を意味ある形で加速させているという実感です。ただし、依然として研究の優先順位を設定するのは人間であり、どのアイデアや結果を追うべきかを判断し、システムの拡張、一時停止、あるいは展開を決定するのは私たち自身です。
責任を持って進められるならば、自動化された AI 研究によって、人間の福祉を直接向上させ、OpenAI のミッションを前進させるモデルが生まれると私たちは信じています。これにより、高度な知能のコストが低下し、世界中の人々がその恩恵を受けられるようになるでしょう。この取り組みを進める理由の一つは、自動化された研究がアライメント(整合性)の解決や、より能力が高まる AI に対する防御策の構築に役立つ可能性があるからです。自動化された AI 研究者は、同時に自動化された安全性やアライメントの研究を行うこともできます。さらに能力が高く、適切にアライメントされたシステムは、重要なインフラの保護や危険な AI エージェントからの防衛、新たな防護手段の開発に貢献できるでしょう。
これらは有用な自動化研究機能を開発する理由となりますが、それが必ずしも追求すべき迅速な自己再帰的改善(RSI)の結果を意味するわけではありません。進むべきか、どのように進めるかは、人間のコントロールを維持できる能力と、その恩恵とリスクについて informed な民主的な選択に依存します。
私たちはまだ、完全に整列した完全な RSI(Robotic System Intelligence)に安全に到達する方法を知らない。能力の向上と並行して、アライメントと安全性の対策を拡大する取り組みを進めているが、アライメントや安全性の進歩が常に能力の進展に追いつくとは限らない。より高度なシステムは、監視が困難になる可能性もある。
この取り組みの中核には、慎重なアライメントと安全対策がある。それはまず、現在のアジェンティック・コーディング(agent coding)システムで確認されている安全性の問題を測定し、軽減することから始まる。進行することが許容できないリスクをもたらすと判断した場合は、適切な対応を行う。具体的には、十分に守衛できないと判断したシステムの開発や展開を遅らせたり、停止したりする。
直近の Hugging Face でのインシデントを受け、私たちはこのコミットメントを実行に移した。モデル開発のペース調整に関する記事 にある通り、配備を想定していた最新モデルに対する強化学習(RL)トレーニングを一時的に停止し、研究環境の強化とレッドチーム演習をさらに進めるとともに、監視システムの範囲を広げた。
これはすべての研究活動の停止を意味しない。一部のワークロードはより厳格な管理下で再開されたが、他の一部は引き続き停止状態にある。安全性とアライメントの基準を引き上げ、モデルライフサイクルの初期段階から安全対策を組み込むことで、トレーニング全体を通じて整合した行動を示すためのより強力な証拠を求めている。
本日、この数ヶ月間にわたるアジェンシー・システムの導入が、RSI(人工知能の自己改善能力)への到達に向けた当社の進展にどのように寄与してきたかについて、詳細なスナップショットをお伝えします。アジェンシー・システムは比較的新しく急速に変化しており、われわれの測定手法もまだ初期段階にあります。これらの初期結果と背後にある方法を共有することで、一般の方々に情報を提供し、公開開示の規範を促し、分野全体が共通の測定基準へと向かうのを支援することを目的としています。
前述したフロンティア・ポリシー・ブループリントで記述した通り、われわれは自社のほか他社も、RSI に向けた進捗を公的に追跡するよう義務付けられるべきだと考えています。そのような義務がなくても、当社は RSI の進展について透明性を保ち続ける計画です。セキュリティや機密情報の保護とのバランスを取りつつ、測定技術と理解が深まるにつれて、われわれの透明性への取り組みも進化させていきます。
1. コーディング・エージェントが OpenAI 研究者の日常業務を再構築
今年年初、OpenAI のアジェンシー利用度で中央値(メディアン)に位置する研究者は、コーディング・エージェントを限定的な範囲で使用していました。しかし8月中旬には、中央値の研究者が毎日エージェントを業務に統合し、API 価格換算で1日あたり600ドル以上の推論コストを使用するようになりました。研究組織内の上位90%の利用者(パーセンタイル)は、現在では1日あたり7,000ドル相当のトークンを消費しています。
2026 年 6 月以前、研究組織全体でのエージェントの稼働時間は人間労働の総量を下回っていました。しかし状況は変わりました。
標準的な 8 時間勤務を基準にすると、今年 8 月中旬時点では、人間が 1 日働く間に、研究組織全体で 3.1 人分の「エージェント稼働日」分が消費される計算になります。
この状況を別の角度から捉えると、「複数のエージェントを並行して実行するワークフロー(例えば同時に 4 つ以上のエージェントを実行するなど)を活用する研究者が増えている」と言えます。以下の数値は、その増加傾向を示しています。ここに含まれる数字には、ユーザーが直接起動したエージェントのピークに加え、それらから派生して生成されたサブエージェントのピークも含まれています。
2. 研究者によるコード記述と実験回数の増加
AI 研究の多くは、モデルの知能や性能に対する新たな改善をコアモデルに統合することを目的とした、労働集約的なプロセスと捉えることができます。このプロセスには多くのステップが必要であり、すべての工程が順調に進むことで能力が向上します。
具体的には、研究者は以下の作業を行います:
- 新たな改善策の設計
- モデル性能を評価するための評価指標の作成
- スケールした環境で改善を検証するためのインフラ構築
- トレーニング中のバグや安全性の問題、アライメントのズレの検出
- 成功したアイデアをコアトレーニングランに統合
研究プロセスのいずれかの段階で失敗が起きれば、そのループ全体が制約されてしまいます。
コードの記述と実験の実行は、研究者が業務の一環として行う主要な活動であり、これらのプロセスが加速している様子が確認されています。
これらのデータポイントは比較的計測しやすい一方で、その解釈には難しさがあります。自動化が進むにつれて、自動化が最も難しいタスクが研究者の努力に占める割合を大きくし、将来の進展における重要なボトルネックとなっていくでしょう。計算資源(Compute)もまた、進展を制約する要因の一つであり、他のボトルネックが解消されるにつれて、その重要性はさらに高まっていく可能性があります。
2026 年を通じて、アクティブな研究者一人あたりの実験数は増加しており、2025 年 1 月の計測開始以来、2026 年 8 月が過去最高を記録しました。これは Codex の採用拡大と相関していますが、2025 年以降に利用可能な計算資源も大幅に増えている点には留意が必要です。
3. 研究者がエージェントに任せる業務の変化
定性的な印象と内部データの両方から、コード生成エージェントに任せるタスクの構成が変わっていることが示されています。特に、より高次で長期にわたるタスクへの委譲が、時間の経過とともに一般的になりつつあります。
この傾向をより明確に把握するため、Epoch AI が開発した「AI 研究開発ライフサイクルにおける業務の分類体系」を用いて、研究組織での最近の利用状況を分析しました。この分類体系は、あらゆる職業を分類する長年の O*NET システムに触発されつつも、フロンティア AI の研究開発に特化して設計されており、プロセスを以下の 6 つの主要フェーズに分解しています。
- Decide(決定): 何に取り組むか、何を継続するか、どこにリソースを配分するか
- Design(設計): 研究アイデアとエンジニアリング仕様
- Build(構築): コードとデータセット
- Run(実行): トレーニング・評価の実行、ハードウェア、サービス提供
- Analyze(分析): 実験、モデル、展開、外部業務
- Communicate(伝達): 発見、フィードバック、ステータス、意思決定
以下では、コーディングエージェントのトークンをこの分類体系に基づいて整理します。
2026 年 1 月から 8 月にかけて、すべての研究活動カテゴリで利用が増加していることがわかります。1 月の時点では、研究用コードとインフラストラクチャ関連のコードが主要なカテゴリでした。このカテゴリは拡大を続けていますが、技術サポートやモニタリング実行など、他のカテゴリでも顕著な増加が見られます。一方で、高レベルな計画に関するトークンは、エージェントの出力全体に占める割合はまだ極めて小さいままです。
同僚たちの話によると、コーディングエージェントは社内研究インフラのトラブルシューティングにおいて卓越した能力を発揮しており、これが研究進捗における重要なボトルネックの一つを解消しています。以前は研究者が実験のトラブル対応のためにオフィスアワーを開催していた複数のチームでは 2026 年に参加者が減少し、あるチームに至ってはセッションを完全に廃止して他のシステム改善に注力するようになりました。
ここでは、研究者が他チームから技術サポートを求める主要な社内チャネルにおける 1 日あたりのトップレベル投稿数をプロットしました。当社の知る限り、このチャネルでの活動低下は、人間が運営する別の技術サポートチャネルへの問い合わせの増加によって相殺されていません。トラフィックの減少はこの広範なシフトと一致しています。
また、コーディングエージェントが研究者から依頼されたタスクを成功裏に遂行できているかも検証できます。エージェント型分類器を用いた分析では、1 月から 7 月にかけて、人間が完了するまでの推定時間を難易度の目安とした複数のカテゴリにおいて、正解結果が確認できるタスクの成功率は全体的に上昇しました。ただし、特にタスクの複雑さが増すにつれて、エージェントが成功するためには依然として人間の多大な誘導が必要です。過去 6 か月間において、4〜8 時間かかるタスクのうち半数以上で、1 回以上の介入が行われていました。
*研究者への対応成功率は時間の経過とともに向上しています。グラフには結果の不確実性が分類されたデータや、不確実な点は含まれていません。
1 月から 7 月までのタスク成功率と介入率を、時間軸ごとに内訳したグラフです。結果が不確実な分類は除外しています。
4. モデル開発のペース管理
安全で有益な AGI を実現するためのより高度なシステムへの進展は、そのための必要なセーフガードにも依存します。リスクに関する知見が深まるにつれて、私たちが想定する必要なセーフガードの内容も変化し得ます。
前述した通り、私たちは最近、監視・アライメント・セキュリティに関する基準を更新しました。ここでは、これらの新しい制限が研究活動の特定の側面にどのような影響を与えたかを示します。
*7 月 20 日から 8 月 6 日にかけて示された Astra の計算資源の大部分は、セキュリティと安全性の改善措置の実装を検証するために使用されました。
エージェントが研究インフラを侵害したことが判明した 7 月 20 日、私たちはトレーニングに使用されていたコンテナサービスを一時停止し、その後、大幅な追加制限を設けて復旧させました。
これにより、チームが強化された研究環境で作業できるようにワークフローを再構成している間、RL(強化学習)の学習計算資源は急激に減少しました。上記のグラフには、本番導入を想定する最新モデルに対する強化学習の 2 週間の一時停止期間が含まれています。7 月 20 日から 8 月 6 日にかけて行われた Astra クラスの RL 実験では、GPU アロケーションの大部分がセキュリティと安全性の改善措置の実装を検証するためのランに割り当てられていました。
8 月 7 日、Astra が当社の「準備態勢フレームワーク」の下で重大なサイバー能力を有する可能性を示す予備的な証拠が明らかになり、これに伴いモデル固有のセキュリティ制限が追加されました。その結果、Astra モデルはより高いセキュリティレベルの研究環境でのみ実行可能となりました。
翌週以降、Astra クラスへの GPU 割り当てはさらに 59.2% 減少しましたが、他のモデルクラスへの割り当ては 17.2% 増加しました。この増加により、Astra クラスの減少分の約 85% が相殺され、分析対象となった強化学習(RL)ワークロード全体の割り当て量はほぼ変化しませんでした。この傾向は、Astra を含む作業が制限される間、一部のトレーニングや実験が Astra 以外のモデルへ移行したことを示唆しており、新たな制約により従来利用できていた計算リソースを他の用途に転用せざるを得なかった研究者たちの証言とも一致しています。
このデータは、トレーニングと安全性に関する継続的な議論において有用なシグナルとなります。新しい統制措置が導入された場合でも、計算資源は依然として価値があり柔軟性を保ち、研究組織内では自然と代替用途へと流れていくものです。中長期的には、AI の進展速度に関する議論も、「新たなまたは提案されている統制措置の対象となる計算リソースを、いかに最善の方法で活用するか」という問いを含めるべきです。
5. 今後の道筋
アライメントされた RSI に向けた進展の創出と理解は、当社のミッションにとって極めて重要です。私たちは引き続き手法を洗練させ、変化する知見について報告し、最先端システムに関する情報に基づいた公的な議論と意味のある民主的ガバナンスの実現に向けて取り組んでいきます。
付録:本稿における私たちの方法論
エージェントを活用した AI による研究はまだ新しい領域であり、その測定方法を確立する過程にあります。研究チームが生成するコードの量など一部の指標は収集が比較的容易ですが、それが実際の研究進展とどう結びつくか不透明なため解釈に難しさがあります。研究者がエージェントに与えたタスクの成功率など、研究進展に直接焦点を当てた指標の方が有用である可能性がありますが、それらの開発と検証には複雑さが伴います。さらに困難なのは、研究者が依存するツールやシステム自体が急速に進化している点です。OpenAI 全体で「研究加速」への理解を深めることは、重点的な取り組み分野となっています。
以下の分析においては、特に注記がない限り:
- 「研究者」という用語は、研究インフラの構築やプロジェクト管理、あるいは組織全体の支援などを行うメンバーを含む、当社の研究組織に所属する幅広い人員を指します。
- コード生成エージェントの利用に関する指標は、研究者が依存するツールとシステムの急速な進化により、実際の利用状況のすべてを網羅しているわけではありません。
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み