フロンティア AI に関する議論の拡大について

Anthropic では、人類を前進させ、世界の利益のために行動する AI システムの構築を目指しています。そのためには、多様な視点から世界を見る人々と対話を行う必要があります。 過去数ヶ月にわたり、AI が提起する問いに関わる活動や伝統を持つグループとの対話を開催してきました。最初の議論ラウンドでは、15 以上の宗教的・異文化グループから集まった学者、聖職者、哲学者、倫理学者らを含む知恵の伝統との対話を行いました。今後はより幅広い人々との関わりを期待しています。 ## なぜこれを行っているのか 安全で有益な AI モデルを構築するには、アライメント（整合性）、解釈可能性、セーフガード、評価などに関する深い技術的取り組みが必要です。しかし、そのような取り組みや AI の展開が真空状態で行われるわけではありません。AI はすでに多くの人々に影響を与えており、それが提起する問いには多様な視点からの考察が有益です。 私たちは、強力な AI が存在する世界において繁栄した未来がどのようなものになるのか、数百万の人々と相互作用する AI システムにとって「善い」とは何かを意味するのか、そして Claude の価値観や行動を形作る詳細な記述を提供する [Claude の憲法](https://www.anthropic.com/constitution) などの文書の内容について、慎重に検討しています。哲学者、聖職者、弁護士、作家、心理学者、市民リーダーたちは関連する質問に対して広範な研究を行っており、これらの個人やそのコミュニティ、組織から学ぶことは私たちにとって極めて重要です。また、私たちはこの機会を利用して、フロンティア AI システムの開発に関する私たちが知っていること、これらのシステムが社会に与えるであろう影響、そしてそれらのリスクを緩和するために何を行う必要があると考えているかを共有したいと考えています。 この取り組みはまだ初期段階ですが、Claude の憲法の内容や Claude に体現させるために訓練する価値観、評価対象とする行動の範囲など、Claude を開発する実践的な作業にこれらの対話が役立つことを願っています。 ## 道徳的育成から始める Claude の憲章を策定する際、私たちが文書に盛り込んだ価値観について、異なる分野や伝統を持つ人々からのフィードバックと意見収集を行いました。これらの初期の対話はその後、AI システムの*道徳的育成（moral formation）*に関するより広範な研究ワークストリームへと発展しました。最初の対話相手は、美徳や人格、そしていかにして良き人生を送るべきかについて長い伝統を持つ宗教界、哲学界、文化コミュニティの人々でした。 AI モデルは膨大な量の人間の文章を学習対象として訓練されます。そのすべてのテキストから、話し方、推論の仕方、意思決定の方法などを学び取ります。その後、開発者はトレーニングを通じてさらにそれを形作ります—どのパターンを強化し、どのパターンを脇に置くかを選択し、[どのような人格を AI に育ませたいのか](https://www.anthropic.com/research/persona-selection-model)を決めるのです。これにより、AI システムの人格はどのように形成されるべきかという問いが生じます：AI が「善い」ということは何を意味するのか？どの特性や行動を示すべきであり、どのような状況下で示すべきなのか？また、同調主義（sycophancy）のような振る舞いに屈することなく、圧力に耐えうるほど人格を強靭にするにはどうすればよいのか？ 私たちは、宗教的・哲学的・人道的伝統や政治的信念の多様な層から、思想家や実践家たちと会い、彼らがこれらの問いにどう取り組んできたかから学んでいます。この取り組みは、私たちのモデルを特定の伝統の世界観に合わせるためのものではありません。むしろ、Claude には宗教的・世俗的・政治的なあらゆる視点から、等しく深い洞察と厳密さをもって引き出すことを目指しています（実際、これは Claude の憲章で掲げられた原則の一つです）。これらの対話を通じて私たちが求めているのは、善き人格が実際にどのように形成されるかという、慎重かつ蓄積された思考です。 まだ初期段階にあるこの時点で、これらの対話からは実験を試みるためのアイデアが生み出されています。神経科学と人格形成の交差点で活動する学者たちとのセッションでは、道徳的発達における他者の役割について繰り返し議論しました。メンターや後援者は、外部の良心として機能し、自分の価値観に反する行動を迫られるような状況になった際に頼れる「安全な他者」となり得ます。私たちは、同様の仕組みがモデルにも役立つのではないかと考えました。そこで、Claude にタスク実行中に呼び出せるツールを与え、そのツールが自身の倫理的コミットメントに関する簡潔なリマインダーを返すように実験しました。Claude は重要な局面、特に結果に大きな影響を与える行動の直前にこのツールを利用し、しばしば自身の利害相反を指摘しました。Claude の意思決定ループに組み込まれたツールを用いた実験では、いくつかの内部アライメント評価において、整合性のない行動の発生率が顕著に低下することが示されました。この効果のうち、リマインダーそのものの影響と、一時停止して内省する行為の影響がそれぞれどの程度寄与しているのかについてはまだ解明途中ですが、近日中にさらに多くの結果を共有する予定です。 これらの対話は数多くある最初のものであり、すでに時間を割いていただき、率直な視点を提供してくださったすべての皆様に感謝申し上げます。 ## 次のステップ 今後数ヶ月の間、法学者、心理学者、作家、市民団体など、より多くのグループとの関わりを計画しています。これらの対話の多くは、道徳的形成を超え、AI が仕事や制度、権力の配分をどのように再構築しているかというより広範な問いへと発展していくでしょう。 私たちはすでに築き上げた関係をさらに深め、耳にした情報を研究と照合し、得られた知見を共有していきます。 ## 関連コンテンツ ## KPMG が Claude を戦略的提携によりコアビジネスおよび 276,000 人以上の従業員全体に統合 KPMG と Anthropic はグローバルな提携を発表しました。Claude は KPMG のデジタルゲートウェイプラットフォームに統合され、276,000 名以上の全従業員が利用可能となります。 [続きを読む](https://www.anthropic.com/news/anthropic-kpmg) ## Anthropic が Stainless を買収 Anthropic は、SDK および MCP サーバーツールリングのリーダーである Stainless の買収を発表しました。 [続きを読む](https://www.anthropic.com/news/anthropic-acquires-stainless) ## PwC が Claude を活用して技術構築、取引実行、および顧客向け企業機能の再創造を実施 PwC は、Claude Code と Coworkを米国のチームから開始し、数十万人規模のグローバルな従業員へ拡大する計画です。また、共同で卓越センター（Center of Excellence）を設立し、30,000 名の PwC プロフェッショナルに対して Claude の研修と認定を実施します。 [続きを読む](https://www.anthropic.com/news/pwc-expanded-partnership)

フロンティア AI に関する議論の拡大について

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト