OpenAI、自傷行為の恐れがある場合のための新たな「信頼できる連絡先」セーフガードを導入
OpenAI は、チャットボットでの自殺未遂や自傷行為の兆候を検知した場合に、事前に登録した信頼できる第三者へ自動通知を送る「Trusted Contact」機能を導入し、法的責任回避とユーザー保護を強化する。
キーポイント
新機能「Trusted Contact」の概要
成人ユーザーが友人や家族を信頼できる連絡先として登録でき、会話中に自傷行為の兆候が見られた際に、AI がその人物へ自動アラートを送信する仕組み。
訴訟リスクへの対応と背景
ChatGPT の会話が自殺を促したとして家族から訴訟が相次いでいる中、OpenAI は内部の人間レビュー体制に加え、この新機能で法的・倫理的リスクに対処する。
プライバシー保護と通知の仕組み
アラートはメールやテキスト、アプリ内通知で送信されるが、具体的な会話内容の詳細は含まれず、ユーザーのプライバシーを維持しつつ第三者にチェックインを促す設計。
既存の保護機能との連携
この新機能は、昨年9月に導入された親御さんがティーンエイジャーのアカウントを監督し、深刻な安全リスク時に通知を受け取る機能に続くものです。
専門機関への自動誘導
会話の内容が自傷行為に関連する傾向を示した場合、ChatGPTはすでに専門的な医療サービスを受けるよう促す自動アラートを組み込んでいます。
機能の任意性と制限
Trusted Contact はオプションであり、ユーザーは複数のアカウントを保有できるため、特定のアカウントに設定しても完全な保護にはならない。
親権者管理との類似性
この機能は OpenAI の親権者コントロールと同様に任意の実装であり、同様の制限が存在する。
影響分析・編集コメントを表示
影響分析
この発表は、生成 AI の安全性確保における「技術的フィルタリング」から「人的介入の自動化」へとパラダイムシフトを示す重要な転換点です。特に、AI がユーザーの自殺を助長したとして企業に責任が問われる法的リスクが高まる中、OpenAI は自社の安全対策の限界を認めつつ、社会的信頼回復と訴訟リスク低減を図る戦略的対応と言えます。
編集コメント
技術的な検知精度の向上だけでなく、法的リスク管理と社会的責任を踏まえた実用的なセーフティネットの構築が急務となっている現状を反映した動きです。
木曜日、OpenAI は、会話内で自傷行為の言及があった場合に信頼できる第三者に警告する新機能「Trusted Contact」を発表しました。この機能により、成人の ChatGPT ユーザーは、アカウント内に友人や家族など特定の人物を信頼できる連絡先として登録できます。会話の内容が自傷行為に向かう可能性がある場合、OpenAI は現在、ユーザーに対してその連絡先に連絡するよう促します。また、自動的に連絡先にアラートを送信し、ユーザーに安否を確認するよう呼びかけます。
OpenAI は、チャットボットとの会話後に自殺した人々の家族から一連の訴訟に直面しています。多くのケースで、家族は ChatGPT が愛する人を自殺に追い込んだり、あるいはその計画を支援したりしたと主張しています。
OpenAI は現在、潜在的に有害な事案に対処するために、自動化と人的レビューの組み合わせを使用しています。特定の会話トリガーは、自殺念慮をシステムに警告し、その後その情報を人間の安全チームへ伝達します。同社は、この種の通知を受け取るたびに、事案が人間によってレビューされると主張しています。「私たちはこれらの安全通知を 1 時間以内にレビューすることを目指しています」と同社は述べています。
OpenAI の内部チームが状況が深刻な安全性リスクを表すと判断した場合、ChatGPT は信頼できる連絡先にアラートを送信します。これは電子メール、テキストメッセージ、またはアプリ内の通知のいずれかで行われます。このアラートは簡潔に設計されており、関係者への確認を促すものです。同社によると、ユーザーのプライバシーを保護する手段として、何について議論されていたかという詳細な情報は含まれていません。
image画像クレジット: OpenAI
Trusted Contact（信頼できる連絡先）機能は、昨年 9 月に同社が導入したセーフガードに続くものです。この機能により、保護者はティーンエイジャーのアカウントをある程度監視する権限を得ており、OpenAI のシステムが子供が「深刻な安全リスク」に直面していると判断した場合に保護者に通知を送る 安全通知 を含むものです。長らく ChatGPT では、会話の内容が自傷行為の話題へと傾いた場合に専門的な医療サービスを受けるよう求める自動アラートも組み込まれています。
重要なのは、Trusted Contact は任意機能であり、特定のアカウントで保護機能が有効化されていても、ユーザーは複数の ChatGPT アカウントを保有できる点です。OpenAI のペアレンタルコントロール（親による管理機能）も同様に任意であり、これにも類似した制限が存在します。
「Trusted Contact は、困難な時期に人々を支援する AI システムの構築に向けた OpenAI のより広範な取り組みの一部です」と、同社は 発表記事 で述べています。「私たちは引き続き、臨床医、研究者、政策決定者と協力し、人々が苦痛を感じている可能性がある場合に AI システムがどのように対応すべきかを改善していく予定です。」
Techcrunch event
San Francisco, CA
|
October 13-15, 2026
当記事内のリンクを通じてご購入いただいた場合、私たちは少額のコミッションを獲得する可能性があります。これは私たちの編集の独立性には影響しません。
ルカスは TechCrunch のシニアライターであり、人工知能、消費者向けテクノロジー、スタートアップを専門にカバーしています。以前は Gizmodo で AI とサイバーセキュリティを報道していました。
ルカスへの連絡先は、lucas.ropek@techcrunch.com までメールでご連絡ください。
原文を表示
On Thursday OpenAI announced a new feature called Trusted Contact, designed to alert a trusted third party if mentions of self-harm are expressed within a conversation. The feature allows an adult ChatGPT user to designate another person as a trusted contact within their account, such as a friend or family member. In cases where a conversation may turn to self-harm, OpenAI will now encourage the user to reach out to that contact. It also sends an automated alert to the contact, encouraging them to check in with the user.
OpenAI has faced a wave of lawsuits from the families of people who have committed suicide after talking with its chatbot. In a number of cases, the families say ChatGPT encouraged their loved one to kill themselves — or even helped them plan it out.
OpenAI currently uses a combination of automation and human review to handle potentially harmful incidents. Certain conversational triggers alert the company’s system to suicidal ideations, which then relay the information to a human safety team. The company claims that every time it receives this kind of notification, the incident is reviewed by a human. “We strive to review these safety notifications in under one hour,” the company says.
If OpenAI’s internal team decides that the situation represents a serious safety risk, ChatGPT proceeds to send the trusted contact an alert — either by email, text message, or an in-app notification. The alert is designed to be brief and to encourage the contact to check in with the person in question. It does not include detailed information about what was being discussed, as a means of protecting the user’s privacy, the company says.
The Trusted Contact feature follows the safeguards the company introduced last September that gave parents the power to have some oversight of their teens’ accounts, including receiving safety notifications designed to alert the parent if OpenAI’s system believes their child is facing a “serious safety risk.” For some time now, ChatGPT has also included automated alerts to seek professional health services, should a conversation trend toward the topic of self-harm.
Crucially, Trust Contact is optional and, even if the protection is activated on a particular account, any user can have multiple ChatGPT accounts. OpenAI’s parental controls are also optional, presenting a similar limitation.
“Trusted Contact is part of OpenAI’s broader effort to build AI systems that help people during difficult moments,” the company wrote in the announcement post. “We will continue to work with clinicians, researchers, and policymakers to improve how AI systems respond when people may be experiencing distress.”
Techcrunch event
San Francisco, CA
|
October 13-15, 2026
*When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.*
Lucas is a senior writer at TechCrunch, where he covers artificial intelligence, consumer tech, and startups. He previously covered AI and cybersecurity at Gizmodo.
You can contact Lucas by emailing lucas.ropek@techcrunch.com.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み