Anthropic Instituteの設立発表
Anthropicは、強力なAIの社会的影響とリスクに対処するため、複数の研究チームを統合した「The Anthropic Institute」を設立し、フロンティアAIシステム構築者の視点から情報提供と外部連携を行うと発表した。
キーポイント
The Anthropic Instituteの設立目的
強力なAIが社会にもたらす重大な課題（雇用・経済への影響、社会的レジリエンス、脅威の増幅、AIの「価値観」、再帰的自己改善のガバナンスなど）に対処するため、情報提供と外部連携を行う組織を設立した。
AI開発の加速と社会への緊急性
AnthropicはAI開発が加速しており、極めて強力なAIが多くの予想より早く到来すると予測しており、社会は近い将来これらの課題に直面する必要があると主張している。
研究所の組織体制と独自の視点
共同創業者Jack Clarkが率い、機械学習エンジニア、経済学者、社会科学者からなる学際的スタッフを擁し、フロンティアAIシステム構築者だけが持つ情報にアクセスできるという独自の立場を活かす。
統合・拡張される研究チーム
既存の3つの研究チーム（フロンティアレッドチーム、社会的影響研究チーム、経済研究チーム）を統合・拡張し、AI進歩の予測や法制度との相互作用の理解など新たな取り組みも進める。
影響分析・編集コメントを表示
影響分析
この発表は、AI開発の最前線に立つ企業が自らの責任を認識し、社会的影響の研究と情報公開に本格的に取り組む姿勢を示した点で重要である。業界全体の透明性と責任ある開発への圧力が高まり、政策議論や他社の対応にも影響を与える可能性がある。
編集コメント
プレスリリース形式ではあるが、AI開発の加速と社会への影響という核心的な課題に正面から向き合う組織設立を公表しており、業界の責任ある開発への動向を注視すべきニュースと言える。
タイトル: The Anthropic Institute の設立について
The Anthropic Institute の設立について
私たちは、強力なAIが社会にもたらす最も重大な課題に立ち向かう新たな取り組み「The Anthropic Institute」を設立します。The Anthropic Instituteは、Anthropic社全体の研究成果を活用し、より強力なAIシステムが普及する世界への移行期において、他の研究者や一般の方々が利用できる情報を提供します。
Anthropic社が創業してからの5年間で、AIの進歩は驚異的な速さで進みました。最初の商用モデルのリリースまでに2年を要しましたが、その後わずか3年で、深刻なサイバーセキュリティの脆弱性を発見し、幅広い実務を担い、さらにはAI開発のペースそのものを加速させ始めるモデルを開発しました。
私たちは、今後2年間で、はるかに劇的な進歩が続くと予測しています。当社の核となる信念の一つは、AI開発は加速しており、私たちが行う改善は時間とともに複利のように積み上がっていくということです。このため、当社CEOのDario Amodeiが『Machines of Loving Grace』で述べているような、極めて強力なAIは、多くの人が考えるよりもはるかに早く到来します。
もしこれが正しいなら、社会は間もなく多くの巨大な課題に直面することになるでしょう。強力なAIシステムは、私たちの仕事や経済をどのように再構築するのでしょうか。それらは、社会の強靭性を高めるどのような機会をもたらすのでしょうか。どのような脅威を増幅させたり、新たに生み出したりするのでしょうか。AIシステムが表明する「価値観」とは何であり、社会は企業が適切な価値観を決定するのをどのように支援すべきでしょうか。そして、もしAIシステムの再帰的自己改善が実際に始まった場合、世界の誰に知らせるべきであり、これらのシステムはどのように統治されるべきでしょうか。
The Anthropic Instituteの目標は、フロンティアAIシステムを構築する中で私たちがこれらの課題について学んでいることを世界に伝え、外部の関係者と協力して、私たちが直面せざるを得ないリスクへの対応を支援することです。私たちの社会がこれに対処できるかどうかは、変革をもたらすAIが、科学、経済発展、そして人間の主体性において、私たちが可能だと信じる根本的な恩恵をもたらすかどうかを決定づけるでしょう。
この研究所は、共同創業者であるJack Clarkが率いており、彼はAnthropic社の「公共の利益(Public Benefit)」責任者として新たな役割を担います。研究所には、機械学習エンジニア、経済学者、社会科学者からなる学際的なスタッフが在籍し、Anthropic社の3つの研究チームを統合・拡張します。すなわち、AIシステムの現在の能力の限界を理解するためにストレステストを行う「フロンティア・レッドチーム(Frontier Red Team)」、AIが実世界でどのように使用されているかを研究する「社会的影響(Societal Impacts)」チーム、そして雇用やより広範な経済への影響を追跡する「経済研究(Economic Research)」チームです。研究所はまた、新しいチームを立ち上げており、現在、AIの進歩予測や、強力なAIが法制度とどのように相互作用するかをより深く理解するための取り組みを進めています。
この研究所は独自の優位性を持っています。それは、フロンティアAIシステムの構築者だけが持つ情報にアクセスできるからです。研究所はこの利点を最大限に活用し、私たちが作り上げている技術の実態について学んでいることを率直に報告します。同時に、この研究所は双方向の窓口でもあります。それは、雇用の変化に直面する労働者や産業、そして未来が迫っていると感じながらも、どのように対応すべきか確信が持てない人々やコミュニティと対話します。そこから得られる知見は、研究所の研究テーマや、会社全体としての行動方針を決定する上で重要な情報となります。
The Anthropic Instituteは、以下の創設メンバーを迎え入れました。
イェール・ロー・スクールのResident Fellowであり、以前はGoogle DeepMindのシニア・ディレクター・オブ・リサーチおよびプリンストン大学の神経計算学(Neural Computation)教授を務めたMatt Botvinickが、AIと「法の支配」に関する研究を率いるために研究所に加わります。
Anton Korinekが、バージニア大学の経済学教授の職務から休職して経済研究(Economic Research)チームに加わり、変革をもたらすAIが経済活動の本質そのものをどのように再構築する可能性があるかを研究する取り組みを率います。
以前OpenAIでAIの社会的・経済的影響を研究していたZoë Hitzigが加わり、私たちの経済研究をモデルのトレーニングと開発に結びつけます。
私たちはまた、採用活動も行っています。The Anthropic Instituteは、研究計画の様々な部分を統合し、私たちの成果を世界に発信する小規模な分析スタッフを構築中です。詳細はこちらでご覧いただけます。
Anthropic社の公共政策(Public Policy)チームの拡大
The Anthropic Instituteの設立と並行して、私たちは公共政策(Public Policy)組織を拡大します。
公共政策チームは、Anthropic社が優先事項と明確な見解を持つ分野に焦点を当てます。これには、モデルの安全性と透明性、エネルギー料金の利用者保護、インフラ投資、輸出管理、そしてAIにおける民主的なリーダーシップが含まれます。Anthropic社に対外渉外(Head of External Affairs)責任者として入社したSarah Heckが、公共政策(Head of Public Policy)責任者としてこのチームを率います。Anthropic社以前は、Sarahは金融技術会社Stripeの起業家支援(Head of Entrepreneurship)責任者を務め、それ以前はホワイトハウス国家安全保障会議で世界的な起業家精神と公共外交政策を担当していました。
私たちは、世界中のAIガバナンスに情報を提供し、その形成を支援するために、公共政策チームを強化しています。今年の春にワシントンD.C.に最初のオフィスを開設し、グローバルな政策活動を急速に拡大しています。現在の求人はこちらでご覧いただけます。
関連コンテンツ
シドニーはAnthropic社のアジア太平洋地域における4番目のオフィスになります
Firefoxのセキュリティ向上のためにMozillaと提携
戦争省(Department of War)の現状について
Dario Amodeiからの声明
原文を表示
Introducing The Anthropic Institute
We’re launching The Anthropic Institute, a new effort to confront the most significant challenges that powerful AI will pose to our societies. The Anthropic Institute will draw on research from across Anthropic to provide information that other researchers and the public can use during our transition to a world containing much more powerful AI systems.
In the five years since Anthropic began, AI progress has moved incredibly quickly. It took us two years to release our first commercial model, and just three more to develop models that can discover severe cybersecurity vulnerabilities, take on a wide range of real work, and even begin to accelerate the pace of AI development itself.
We predict that far more dramatic progress will follow in the next two years. One of our company’s core convictions is that AI development is accelerating: that the improvements we make are compounding over time. Because of this, extremely powerful AI, like the kind our CEO Dario Amodei describes in Machines of Loving Grace, is coming far sooner than many think.
If this is right, society is shortly going to need to confront many massive challenges. How will powerful AI systems reshape our jobs and economies? What kinds of opportunities for greater societal resilience will they give us? What kinds of threats will they magnify or introduce? What are the expressed “values” of AI systems and how will society help companies determine what the appropriate values are? And, if the recursive self-improvement of AI systems does begin to occur, who in the world should be made aware, and how should these systems be governed?
The Anthropic Institute’s goal is to tell the world what we’re learning about these challenges as we build frontier AI systems, and to partner with external audiences to help address the risks we must confront. Whether our societies are able to do so will determine whether or not transformative AI delivers the radical upsides that we believe are possible in science, economic development, and human agency.
The Institute is led by our co-founder Jack Clark, who will assume a new role as Anthropic’s Head of Public Benefit. It has an interdisciplinary staff of machine learning engineers, economists, and social scientists, bringing together and expanding three of Anthropic’s research teams: the Frontier Red Team, which stress-tests AI systems to understand the outermost limits of their current capabilities; Societal Impacts, which studies how AI is being used in the real world; and Economic Research, which tracks its impact on jobs and the larger economy. The Institute will also incubate new teams, and is currently working on efforts around forecasting AI progress and better understanding how powerful AI will interact with the legal system.
The Institute has a unique vantage point: it has access to information that only the builders of frontier AI systems possess. It will use this to its full advantage, reporting candidly about what we’re learning about the shape of the technology we’re making. At the same time, the Institute is a two-way street. It will engage with workers and industries facing displacement, and with the people and communities who feel the future bearing down on them but are unsure how to respond. What we learn will inform what the Institute studies, and how our company as a whole chooses to act.
The Anthropic Institute has made several founding hires:
Matt Botvinick, a Resident Fellow at Yale Law School and previously Senior Director of Research at Google DeepMind and Professor in Neural Computation at Princeton, is joining the Institute to lead its work on AI and the rule of law.
Anton Korinek is joining the Economic Research team, on leave from his role as Professor of Economics at the University of Virginia, to lead an effort studying how transformative AI could reshape the very nature of economic activity.
Zoë Hitzig, who previously studied AI’s social and economic impacts at OpenAI, is joining to connect our economics work to model training and development.
We’re also hiring. The Anthropic Institute is building out a small analytical staff who will work to pull various parts of our research agenda together and broadcast our work to the world. You can read more here.
Expanding Anthropic’s Public Policy team
Alongside launching The Anthropic Institute, we’re expanding our Public Policy organization.
Public Policy focuses on the areas where Anthropic has defined priorities and perspectives, including model safety and transparency, energy ratepayer protections, infrastructure investments, export controls, and democratic leadership in AI. Sarah Heck, who joined Anthropic as our Head of External Affairs, will lead this team as Head of Public Policy. Before Anthropic, Sarah was Head of Entrepreneurship at Stripe, a financial technology firm, and previously led global entrepreneurship and public diplomacy policy at the White House National Security Council.
We're growing our Public Policy team to help inform and shape AI governance around the world. We’re opening our first office in DC this spring, and are quickly expanding our global policy footprint. You can see our current openings here.
Related content
Sydney will become Anthropic’s fourth office in Asia-Pacific
Partnering with Mozilla to improve Firefox’s security
Where things stand with the Department of War
A statement from Dario Amodei.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み