私たちの原則
OpenAI は、超知能の権力集中を避け、民主的なプロセスと個人の自律性を重視した原則に基づき、AGI を全人類に利益をもたらすものとして普及させる方針を明確化した。
キーポイント
権力の分散化（Democratization）
技術が少数の企業の手に握られることを防ぎ、AI に関する重要な決定は AI ラボだけでなく民主的なプロセスと平等な原則に基づいて行われるべきだと主張している。
個人のエンパワーメント（Empowerment）
AI が人々の目標達成や学習、幸福を支援し、多様なニーズに応える自律性を尊重する一方で、不確実性のある状況では慎重に行動し、害を最小化する責任を負うとしている。
普遍的な繁栄（Universal prosperity）
AGI の開発目標は、すべての人が優れた人生を送れる未来を実現し、人類全体に利益をもたらすことにあると定義している。
重要な引用
We believe the latter is much better, and our goal is to put truly general AI in the hands of as many people as possible.
Our mission is to ensure that AGI benefits all of humanity.
We will resist the potential of this technology to consolidate power in the hands of the few.
影響分析・編集コメントを表示
影響分析
この文書は、OpenAI が単なる技術開発企業ではなく、社会構造や権力配分にも深く関与する倫理的・政治的スタンスを明確に示したものであり、業界全体のガバナンス議論に影響を与える可能性が高い。特に「民主化」という概念を掲げることで、規制環境やユーザーの信頼獲得に向けた戦略的な方向性を示しており、今後の AGI 開発における社会的受容性の確保が重要視されることを意味している。
編集コメント
技術的な機能発表ではなく、企業の存在意義と社会へのコミットメントを定義する重要な宣言文です。特に「権力の分散」という点は、現在のAI業界が直面している集中化の懸念に対する明確な対抗軸を示しています。
AI は社会の多くの側面を大幅に改善する可能性を秘めています。
この技術はそれ以前の他の技術と同様に、人々により大きな能力と主体性（エンパワーメント）をもたらします。AI を用いて人々が達成できることは、蒸気機関や電気を用いてかつて可能だったことを遥かに凌駕するものとなるでしょう。
私たちは、現在では想像しにくいレベルで広く繁栄がもたらされる世界、そして個人の潜在能力、主体性、充足感が大幅に向上する世界をビジョンとして描いています。私たちがSF 作品の中でしか夢見ることのできなかった多くのことが現実となり、多くの人々が今日よりもより意味のある人生を送れるようになるでしょう。
しかし、この結果が保証されるわけではありません。将来の権力は、スーパーインテリジェンス（超知能）を利用し制御する少数の企業によって握られるか、あるいは人々によって分散された形で握られるかのどちらかになります。私たちは後者がはるかに優れていると考え、真に汎用性の高い AI をできるだけ多くの人々の手に届かせることを目標としています。現在と同様、未来がすべて悪くも善くもないことは間違いありませんが、私たちが今下す決定が良い結果を最大化するのに役立ちます。
私たちのミッションは、AGI（人工一般知能）が人類全体に利益をもたらすことを保証することです。以下は、私たちの業務を導く原則です。
- 民主化。私たちは、この技術が少数の手に権力を集中させる可能性に抵抗します。
これは、すべての人に AI へのアクセスを提供するだけでなく、AI に関する重要な決定が AI 研究所のみによって行われるのではなく、民主的なプロセスと平等主義の原則に基づいて行われることを確保する必要があることを意味します。
- エンパワーメント。 私たちは、AI がすべての人を支援し、目標の達成、より多くの学習、幸福と充実感の実現、夢の追求を可能にし、社会全体がその恩恵を受けることができると信じています。
これを実現するには、眼前にある膨大な可能性を人々が探求できるようにし、それを実現する製品を構築する必要があります。ユーザーは、私たちのサービスを使って、より価値の高いタスクを確実に実行できるようになるべきです。
世界は多様であり、人々のニーズも異なります。私たちはユーザーに必要な自律性を与え、合理的な範囲で可能な限り多くの自由を認めることを望んでいます。
私たちはユーザーにサービス利用に関する非常に広い裁量権を与えたいと考えており、AI が全体的に極めて有益であると強く信じていますが、害を最小限に抑える方法で AI を構築し導入する責任があります。これにはもちろん、壊滅的な害の防止が含まれますが、局部的な害の最小化や、潜在的に社会を蝕むような影響の回避も含まれます。これは、不確実性がある場合には慎重側に倒し、より多くの証拠が得られるにつれて制約を緩和していくことを意味します。
- 普遍的繁栄。 私たちは、誰もが優れた生活を送れる未来を望んでいます。
計算資源（compute power）の豊富な使いやすい AI システムをすべての手に届くものにすることで、人々が新たな価値創造の方法を見つけ、特に新しい科学の発見を通じて、すべての人の生活の質を大幅に向上させると信じています。
繁栄が完全に実現し、広く共有されるためには、1) 私たちの政府は、誰もが眼前の価値創造に参加できるようにするために、新たな経済モデルを検討する必要があるかもしれないと私たちは信じており、2) AIインフラストラクチャを大幅に構築し、AIインフラストラクチャのコストを劇的に引き下げるための新技術を開発する必要があると信じています。
私たちが行っている多くのことは、一見奇妙に思えます。収益が比較的低い段階で膨大な量のコンピューティング能力を購入したり、コストを削減し技術の利用を容易にするために垂直統合を進めたり、世界中にデータセンターの構築を推進したりするなどですが、これらはすべて普遍的な繁栄という未来に対する私たちの根本的な信念に駆動されています。
- レジリエンス（回復力）。 AIは新たなリスクをもたらしますが、私たちは他の企業、エコシステム、政府、社会と連携してそれらの解決に努めます。また、この取り組みを支援するために財団の資源を大幅に活用します。
どのAIラボも単独で良い未来を保証することはできません。明白な例として、新たな病原体の作成を容易にするような極めて高度なモデルが存在する可能性があり、私たちは病原体に依存しない対策を用いてこれに対抗するために社会全体のアプローチが必要です。別の例として、モデルのサイバーセキュリティ能力が高まるにつれて、これらのモデルを迅速に活用してオープンソースソフトウェアや重要インフラの保護を支援すると同時に、誰もがより安全なソフトウェアを作成できるようモデルを訓練する必要があります。
これは、私たちが長年掲げてきた反復的デプロイメント（反復的展開）戦略の拡大版です。私たちは、社会が AI の能力の各段階に対応し、それを理解し、統合し、共に最善の前進策を見出さなければならないと考えています。これは真空の中で行えることではなく、社会と技術は共進化し、それには時間がかかります。
これは私たちの唯一の安全戦略を意味するものではありません。私たちは安全なシステムの構築と、技術的アライメント（技術的整合性）に関する優れた取り組みの継続も必要だと考えています。
私たちは、今後の作業をさらに進める前に、重大なアライメント（整合性）、安全性、または社会的問題が十分に解決されていることを確認するために、政府、国際機関、その他の AGI（汎用人工知能）の取り組みと協力する必要がある時期があると考えています。
- 適応性。私たちは、非常に予測不可能な未来の課題に対応する唯一の方法は、より多くのことを学ぶにつれて私たちの立場を更新する準備をすることであると引き続き信じています。また、OpenAI は数年前よりも世界において遥かに大きな存在であることも認識しており、私たちの運用原則がいつ、どのように、そしてなぜ変更されるのかについて透明性を保ちます。具体的な例として、普遍的な繁栄が非常に重要であり続けることにはかなりの自信を持っていますが、将来の特定の時期では、より多くのレジリエンス（回復力）のために一部のエンパワーメント（能力付与）をトレードオフしなければならない状況も想定されます。
AI の開発は数々の驚きをもたらしており、さらなるサプライズも待ち受けています。技術が進歩するにつれ、その創発的行動（emergent behaviors）は予測がますます困難になっていきます。私たちは、能力の慎重な向上、反復的なシステム導入、そして世界との相互作用からの学習を通じて、この不確実性を受け入れています。
GPT-2 の重み（weights）を公開することへの懸念から、社会への影響が不明確だったため、私たちは公開に慎重な姿勢を示していたのもつい最近のことです。振り返ればそれは杞憂だったと言えますが、この経験から反復的導入（iterative deployment）という戦略を発見し、これが私たちが確立した最も重要な施策の一つとなりました。
__
技術がさらに改善される中、私たちは非常に大きな影響を持つフェーズへと進んでいます。私たちが下すすべての決定に対して批判を受けるのは当然であり、私たちが行っていることの重みを考慮すれば、多大な scrutiny（検証・監視）を受けるに値します。私たちはすべてのことを完璧に行うことはできないでしょうが、迅速に学習し、軌道修正を行っていきます。
私たちは、過去よりもより良い未来を作るために、自分たちの役割を果たすことにコミットしています。そして、このような重要な仕事に取り組めることを幸運に思っています。
原文を表示
AI has the potential to significantly improve many aspects of society.
This technology, like others before, will give people more capability and agency; what people will be able to do with AI will dwarf what people could do with steam engines or electricity.
We envision a world with widespread flourishing at a level that is currently difficult to imagine, and a world in which individual potential, agency, and fulfillment significantly increase. A lot of the things we’ve only let ourselves dream about in sci-fi could become reality, and most people could live more meaningful lives than most are able to today.
But this outcome is not guaranteed. Power in the future can either be held by a small handful of companies using and controlling superintelligence, or it can be held in a decentralized way by people. We believe the latter is much better, and our goal is to put truly general AI in the hands of as many people as possible. Like the present, the future won’t be all bad or all good, but the decisions we make now can help maximize the good.
Our mission is to ensure that AGI benefits all of humanity. Here are the principles that guide our work.
- Democratization. We will resist the potential of this technology to consolidate power in the hands of the few.
This means that in addition to giving everyone access to AI, we need to ensure that key decisions about AI are made via democratic processes and with egalitarian principles, and not just made by AI labs.
- Empowerment. We believe AI can empower everyone to achieve their goals, learn more, be happier and more fulfilled, and pursue their dreams, and that society as a whole will benefit from this.
Achieving this requires letting people explore the enormous potential in front of us, and we need to build products that enable this. Users should reliably be able to accomplish increasingly valuable tasks with our services.
The world is diverse and people have different needs. We want to give our users the autonomy they need and allow as much as we reasonably can.
Although we want to give our users very broad latitude in how they use our services and strongly believe that AI will be hugely beneficial on the whole, we have a responsibility to build and deploy it in a way that minimizes harm. This includes of course preventing catastrophic harm, but also minimizing local harms and avoiding potential corrosive societal effects. This will mean erring on the side of caution in the face of uncertainty, and relaxing constraints with more evidence.
- Universal prosperity. We want a future where everyone can have an excellent life.
By putting easy-to-use AI systems with a lot of compute power into the hands of everyone, we believe people will find new ways to generate value and massively improve quality-of-life for everyone, especially with discovery of new science.
For prosperity to be fully realized and widely shared, we believe that 1) our governments may need to consider new economic models to ensure that everyone can participate in the value creation in front of us and 2) we need to build huge amounts of AI infrastructure and develop new technology to drive costs of AI infrastructure way down.
A lot of the things that we do that look weird—buying huge amounts of compute while our revenue is relatively small, vertically integrating to lower costs and make our technology easier to use, pushing to build datacenters all around the world, and much more—are driven by our fundamental belief in a future of universal prosperity.
- Resilience. AI will introduce new risks, and we will work with other companies, ecosystems, governments, and society to solve them. We will make significant use of our Foundation’s resources to support this work.
No AI lab can ensure a good future alone. For an obvious example, there may be extremely capable models that make it easier to create a new pathogen, and we need a society-wide approach to defend against this with pathogen-agnostic countermeasures. For another example, as the cybersecurity capabilities of models increase, we need to rapidly use these models to help secure open-source software and critical infrastructure, while training the models to help everyone create more secure software.
This is an expansion of our long-held strategy of iterative deployment; we believe society needs to contend with each successive level of AI capability, understand it, integrate it, and figure out the best path forward together. This cannot be done in a vacuum; society and technology co-evolve, and that requires time.
We do not mean this as our only safety strategy; we also need to make safe systems and continue to do great work on technical alignment.
We expect there will be periods where we need to collaborate with governments, international agencies, and other AGI efforts to ensure that we have sufficiently solved serious alignment, safety, or societal problems before proceeding further with our work.
- Adaptability. We continue to believe the only way to meet the challenges of a very unpredictable future is to be prepared to update our positions as we learn more. We also acknowledge that OpenAI is a much larger force in the world than it was a few years ago, and we will be transparent about when, how, and why our operating principles change. As a concrete example, while we are quite confident that universal prosperity will remain really important, we can imagine periods in the future where we have to trade off some empowerment for more resilience.
AI development has brought many surprises, and more are still to come. As the technology advances, its emergent behaviors will become increasingly difficult to predict. We embrace that uncertainty by advancing capabilities carefully, deploying systems iteratively, and learning from their interactions with the world.
It wasn’t that long ago that we were nervous about releasing the weights of GPT‑2 because we weren’t sure what the impacts on society will be. Obviously in retrospect that was a misplaced worry, but it led to us discovering the strategy of iterative deployment, which has been one of the most important things we’ve figured out.
__
We are heading into a very impactful phase as the technology continues to improve. It’s very fair to critique us on every decision; we deserve an enormous amount of scrutiny given the weight of what we are doing. We will not get everything right, but we will learn quickly and course-correct.
We are committed to doing our part to make the future better than the past; we feel lucky to get to take on such important work.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み