Anthropic、AI のウェルビーイング影響評価研究に500万ドル助成プログラムを開始

私たちは、AI がユーザーのウェルビーイングに与える影響について独立した研究を支援する 500 万ドル規模の助成金プログラムを開始します。このプログラムでは、オープンソースの評価ツールを開発し、業界が自社のモデルが利用者にどのような影響を与えるかを測定できるようなプロジェクトに取り組む受給者に対し、直接資金の提供、モデルへのアクセス権、技術サポートを無償で実施します。

受給者は完全に独立した立場で活動し、その成果はオープンソースプロジェクトとして公開されます。これにより、あらゆる開発者がこれらの評価ツールを活用することが可能になります。

AI システムは、多くの人々が仕事を行い、学び、問題を解決する上で中心的な役割を果たすようになりました。また、対話の相手となり、困難な時期には精神的な支えとなることもあります。しかし、業界全体としてはまだ、こうした会話においてモデルがどのように振る舞うべきかという明確な基準を確立する段階にあります。例えば、ユーザーがモデルに親しみを求め始めた場合や、AI を活用してメンタルヘルスの危機に対処しようとした場合に、どのような対応が適切なのかといった課題です。

さらに、ウェルビーイング（幸福・福祉）の評価は特に困難な領域です。モデルの振る舞いの多くについては、単一の回答を見てそれが正確で適切かどうかを判断できます。しかし、ウェルビーイングを評価するには、はるかに多くの文脈が必要です。

例えば、苦境にあるユーザーがすぐに自傷行為に関する考えを共有するとは限りません。より慎重な対応が必要となるのは、長い会話の過程を経て明らかになることもあります。また、ある文脈では妥当な回答でも、別の文脈では有害になり得ます。具体的には、Claude は体重減少について尋ねるユーザーに対して、バランスの取れた食事や運動ルーチンに関するアドバイスを与えるかもしれません。しかし、もしそのユーザーが摂食障害の既往歴を示している場合、そのような回答は不適切であり、実際に害を及ぼす可能性さえあります。

私たちは、こうした会話を特定し、Claude が適切に対応するよう支援するための セーフガードの開発 に取り組んでいます。また、ユーザーが Claude とどのような対話を行うかに関する 研究結果 を公開し、セーフガードの設計や評価方法、およびユーザーのウェルビーイングを守るための他の対策をより適切に導くよう努めています。ただし、これらは微妙な考慮事項であり、その重要性は甚大です。適切なアプローチは、モデルとその利用法の変化に合わせて進化していく必要があります。

ユーザーのウェルビーイングに関する独立した評価とベンチマークの作成を支援することで、臨床医や心理学者、方法論の専門家など、この新興かつ重要な分野に専門知識を提供する方々をさらに多くお招きしたいと考えています。

より効果的なウェルビーイング評価とベンチマークに向けて

本プログラムの一環として、安全対策チームが「信頼できる基盤となるための厳密な評価とは何か」および「評価の有用性を制限する一般的な課題」について共有したガイダンスを公開しました。

要約すると、私たちは以下のような評価を求めています：

• 何を測定しているのかを明確に示すこと（つまり、合格・不合格の基準と、それがなぜ重要なのか）；
• 設計と検証段階に臨床専門家や分野の専門家を巻き込むこと；
• 予防措置と有害事象の両方をテストすること（つまり、過剰な順応と過剰な拒絶のリスクを評価すること）；
• ユーザーが実際に AI をどのように利用しているかを反映すること（多くの場合、これは多段階の対話を含むシナリオを構築することを意味し、長い会話を通じてリスクが高まり、文脈が変化する状況を想定します）；
• 評価者を実際の分野の専門家と比較して検証すること。

助成プログラムについて詳しく知りたい方や、申請をご希望の方は、[こちらの申請フォーム] (https://docs.google.com/forms/d/e/1FAIpQLSfmUDtpfg-ztmQPkCbwx-VAe_urX48sthbqs8GmZUT9irRSDQ/viewform?usp=dialog) をご覧ください。また、強固なウェルビーイング評価やベンチマークの構築に関する詳細は、[当社のガイダンス] (https://www-cdn.anthropic.com/files/4zrzovbb/website/5ecb637cb206057cb93cf4a9e72e843fda5e9892.pdf) をお読みください。

申請締切は 9 月 21 日です。本提案書の提出が選定された方には、10 月 5 日までに通知いたします。

関連コンテンツ

Claude のテキスト透かし機能の仕組みについて

この記事では、採用している透かし手法の仕組みや、Claude の出力への影響、そしてこの変更を行った理由など、これまでいただいた質問に対する回答をまとめました。

詳しく読む

Fable 5 のバイオセーフティ対策の改善

Claude Fable 5 のバイオセーフティ対策を更新し、誤検知（偽陽性）を大幅に削減しました。これにより、生物学関連の問い合わせを行った際に、システムがより能力の低いモデルへ切り替わる「フォールバック」が発生するケースは以前よりも格段に減ります。

詳しく読む

マリアーノ・フローレンティーノ（ティノ）・クエリャール氏がアンソロピックのチーフグローバルアフェアーズオフィサーに就任

マリアーノ・フローレンティーノ（通称：ティノ）・クエリャール氏が、Anthropic の初代チーフグローバルアフェアーズオフィサーとして加わります。

詳しく読む