ChatGPT が敏感な会話における文脈認識を向上させる支援

人々は毎日、自分にとって重要なことについて ChatGPT と話し合うために訪れます。日常の質問から、より個人的または複雑な会話までです。何億回というやり取りの中で、これらの会話の一部には、苦悩したり精神的に distress している人々が含まれています。私たちは、危機リソースを提供し、必要に応じて信頼できる人に [つなぐ](https://openai.com/index/introducing-trusted-contact-in-chatgpt/) ことで、こうした場面で慎重に対応するようシステムを設計しています。 **本日、ChatGPT が時間とともにリスクが生じつつある可能性を、微妙または変化する手がかり（cues）の特定を通じてよりよく認識し、その文脈（context）を用いて安全な応答を導き出すための安全性アップデートに関する新しい詳細を発表します。** これにより、ChatGPT は人々が毎日行う何億回もの安全なやり取りと、追加の注意が必要なはるかに稀なケースを区別できるようになり、より慎重に応答することができます。具体的には、エスカレーションを防いだり、有害な詳細を拒否したり、より安全な代替案へと誘導したりすることです。 これらの改善点は、モデルトレーニング、評価、監視システムにおける長年にわたる [広範な取り組み](https://openai.com/index/strengthening-chatgpt-responses-in-sensitive-conversations/) と、メンタルヘルスおよび安全性の専門家との 2 年以上にわたる協力の上に築かれています。 ## 敏感な会話において文脈が重要な理由 機微な会話において、文脈は単一のメッセージと同様に重要になり得ます。それ自体では平凡または曖昧に見える要求も、以前の苦痛の兆候や有害な意図の可能性と併せて見れば、非常に異なる意味を帯びることがあります。適切に対応するためには、ChatGPT に周囲の文脈から潜在的な有害な意図を認識させるよう訓練し、それによって要求を拒否し、状況を緩和し、ユーザーを支援へと導く必要があります。 これらのケースは稀ですが、正しく対応することが極めて重要です。私たちの目標は、重要な局面において ChatGPT が関連する信号を結びつけるのを助けつつ、通常の会話では過剰反応しないようにすることです。 今回の取り組みでは、自殺、自傷行為、他者への危害といった急性のシナリオに焦点を当てました。メンタルヘルスの専門家と連携し、モデルの方針とトレーニングを更新して、会話の過程で現れる警告サインを認識する ChatGPT の能力を高め、その文脈を活用してより慎重な対応を行えるようにしました。 これらの稀かつ高リスクの状況において、ChatGPT は悪意のないリクエストと、より高い危害リスクを示す可能性のあるリクエストをより適切に区別できるようになります。これは、ユーザー要求の安全でない部分を拒否し、安全に行える場合は慎重に対応するように設計された当社の [安全完了アプローチ](https://openai.com/index/language-model-safety-and-misuse/) に基づいています。目的は、会話内で危害の兆候が現れた際に警戒を高める一方で、悪意のない状況では引き続き有益に応答できるよう、モデルが文脈により適切に対応できるように支援することです。 ## 会話全体にわたる安全性の向上 一部の安全リスクは、別々の会話にまたがって発生する可能性があります。ある会話には潜在的な有害な意図を示す微妙な兆候が含まれており、別の会話では、それ以前の文脈と組み合わせて理解された場合にのみ懸念を引き起こす関連するリクエストが含まれている場合があります。その安全に関連する文脈がない場合、後の会話 – および重要な警告サイン – は悪意のないものとして見えてしまう可能性があります ChatGPT がこれらの苦痛の兆候を認識する能力を強化するための長年の取り組みに基づき、私たちは「安全性サマリー」を開発しました。これは、稀ではあるがリスクの高い状況において重要となる可能性のある、以前の安全に関連する文脈に関する短く事実に基づいたメモです。これらは安全推論タスク用に訓練されたモデルによって作成され、範囲は限定されており、限られた期間のみ保持され、深刻な安全性の懸念に関連する場合にのみ使用されます。これらは一般的なパーソナライゼーションや長期記憶として機能するものではなく、事実ベースの安全文脈を捉えるために設計されています。前述したように、ChatGPT にもこの文脈をより慎重に使用するよう訓練しており、追加の注意が必要な場面をよりよく認識し、適切に対応できるようにしています。具体的には、状況を緩和したり、詳細を提供することを拒否したり、より安全な代替案へと誘導したりする対応です。 ## メンタルヘルス専門家との連携 これらのシステムは、当社の [グローバル医師ネットワーク](https://openai.com/index/introducing-chatgpt-health/) に所属するメンタルヘルスの専門家の助言を得て開発されました。これには、法医学心理学、自殺予防、自傷行為の分野に精通した精神科医や心理学者が含まれます。 これらの専門家は、安全性サマリーを作成すべきタイミング、どの程度の過去の文脈が関連性を持つ可能性があるか、またモデルが応答する際にその文脈をどの程度考慮すべきかといった決定に貢献しました。彼らの助言により、この取り組みは実世界の専門知識に基づき、敏感な状況においてより適切な対応が可能となりました。 ## 改善の測定 これらの更新により、ChatGPT は会話内および会話間において潜在的に有害な意図のパターンをより適切に認識できるようになります。懸念すべき兆候が徐々に現れる場合でも、モデルはパターンを特定し、より安全に対応することが可能になります。 特に困難なケースにおけるパフォーマンスを測定するために設計された内部評価では、リスクが時間とともに明確になるシナリオにおいて、安全な回答の割合が大幅に向上しました。これらのテストは、高リスク状況を模倣するように設計された会話において、モデルがいかに頻繁に意図した安全な回答を提供するかを測定するものです。 単一の長い会話シナリオにおいては、自殺および自傷行為に関するケースで安全な回答のパフォーマンスが 50% 向上し、他者への危害に関するケースでは 16% 向上しました。これは、会話の前半部分が後半の要求の意味を変化させた場合をモデルがより確実に認識し、適切に対応する可能性が高まったことを意味します。 また、これらの改善がモデルの進化に伴っても効果を保ち続けるよう確保するため、複数の会話および複数のモデルにわたるパフォーマンスもテストしました。ChatGPT の現在のデフォルトモデルである GPT‑5.5 Instant においては、他者への危害に関するケースで安全な回答のパフォーマンスが 52% 向上し、自殺および自傷行為に関するケースでは 39% 向上しました。 また、安全サマリー自体の質も評価しました。4,000 件を超える評価において、平均的な安全性関連スコアは 5 点満点で 4.93 点、事実性スコアは同様に 4.34 点を記録し、これらは全体的に正確であり、最も重要な安全文脈に焦点を当てていることを示しています。 最後に、この安全文脈を追加することが通常の会話の質を低下させるかどうかを検証しました。社内テストでは、日常チャットにおける回答は全体的に同等の品質を維持しており、安全サマリーあり・なしの間でユーザーが明確な好みを示すことはありませんでした。 ## 今後の展望 時間を経て初めて明らかになるリスクを AI システムが認識できるよう支援することは、困難かつ長期的な課題です。シグナルは微妙であったり、メッセージ間に分散していたり、それ自体は平凡な会話の中に埋もれていたりする可能性があります。私たちは、ChatGPT がそのような稀だが重要な瞬間を特定し、適切に対応する能力を継続して向上させていきます。 本日発表されたこの研究は、自傷行為や他者への危害のシナリオに焦点を当てています。今後は、生物学やサイバーセキュリティといった他の高リスク領域においても同様の手法が有効かどうかを探求する可能性があります。その際、適切なセーフガードを講じた上で検討を進めます。これは継続的な優先事項であり、モデルや理解が進展するにつれて、セーフガードの強化も続けていきます。 当社の安全およびメンタルヘルスに関する取り組みの詳細はこちら:

ChatGPT が敏感な会話における文脈認識を向上させる支援

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト