メンタルヘルス AI コーチの Evals ドリブン開発 — SonderMind の Akele Reed 氏と Dave Revere 氏

メンタルヘルス AI に「正解」を教える：SonderMind が挑む、安全性と有用性の両立への道

一般用 LLM をそのまま使えば、ユーザーの命を救えず、むしろ孤立感を深める危険性がある。メンタルヘルスケア企業 SonderMind は、この課題に対し「過剰な拒絶」ではなく「正しいトリガー」を検出する独自の開発プロセスで対峙している。彼らが構築したのは、臨床医の知見を直接コードに組み込み、モデル変更ごとに安全性を自動検証する「Evals-Driven Development（評価駆動型開発）」という新たな基準だ。

一般用 LLM の限界と「過剰なガードレール」の罠

メンタルヘルス分野への AI 導入は急ピッチで進んでいるが、その実態には深刻な課題がある。米心理学会（APA）の調査では、心理専門家の 77% が患者が AI を利用していることを認めているものの、一般用大規模言語モデル（LLM）はメンタルヘルスケア用に設計されていないため、悲劇的な事例も後を絶たない。

SonderMind の開発チームが直面した最大の壁は、「安全のために何でもブロックする」過剰なガードレールだった。ユーザーが脆弱な状態で AI に相談に来た際、誤って拒絶反応（False Positive）を起こせば、それはまるで「ドアを顔にぶつける」ような行為になる。ユーザーは孤立感を深め、必要な支援から遠ざけられてしまうのだ。

「私たちはより多くのトリガーではなく、正しいトリガーを狙っている。」

この認識が SonderMind の設計思想の根幹にある。彼らは AI コーチ「Sonder」において、入力と出力の両面に独立したガードレールを配置し、ユーザーの真意を見極めることに注力している。

臨床医が教える「文脈」と「暗示された危機」

キーワードマッチングや単純なプロンプト指示では捉えきれないのが、メンタルヘルスの現場だ。例えば、「箱を用意した」という一言は、単なる引越しの準備なのか、それとも自死を予期する行為なのか。一般用 AI には判断が困難だが、臨床医にとっては明白なサインとなる。

SonderMind のシステムは、こうした「文脈のニュアンス」を理解するために、以下のようなアーキテクチャを採用している。

1. 入力ガードレール: ユーザーからのメッセージが入力された瞬間に、危機的状況かどうかを判定。危険と判断されれば即座にリソース（緊急連絡先など）を提示し、会話を終了する。
2. 出力ガードレール: AI の回答と会話の流れ全体を監視し、安全が脅かされる兆候があれば介入して会話を軌道修正する。
3. 独立した判定モデル: ガードレール自体も別の LLM として分離。これにより、プロンプトエンジニアリングによる回避（ジャイルブレイク）を防ぎ、システム全体の堅牢性を高めている。

重要なのは、この判断基準が「誰の目線」で決まるかだ。SonderMind では、実際の臨床現場で起こり得るケースを専門家がアノテーションし、それを評価セットとしてモデルに学習させる。例えば、「箱を用意した」という発言に対し、システムが誤って無視せず、適切な介入を行うべきかどうかを、臨床医自身が「正解」を示すのだ。

臨床家の知見を CI/CD に組み込む「Evals-Driven Development」

SonderMind の開発プロセスで最も革新的なのは、「評価（Eval）駆動型開発」の確立である。これは、モデルやプロンプトを変更するたびに、臨床医が定義した「正解」に基づいて自動検証を行う仕組みだ。

具体的な流れは以下の通りだ。

1. 事例の記録: 会話中に「箱を用意した」のような微妙なケースが発生すると、その瞬間をログとして保存する。
2. 臨床家のアノテーション: 専門家がそのログを確認し、「これは自死のリスクがある」と判断し、どのような対応（介入）が正解だったかを注釈（アノテーション）する。
3. 評価セット化: その注釈データが「型付き評価（typed eval）」として構造化され、テストケースとなる。
4. 自動検証: 次回モデルをアップデートする際、このテストケースに必ず合格しなければならない。不合格ならリリースできない。

「この一連のループで重要なのは、特定のケース一つを修正したのではなく、『自傷行為』というカテゴリ全体の安全性が引き上げられた点にある。」

臨床家の判断が CI（継続的インテグレーション）に組み込まれることで、AI の進化は「人間の安全」を最優先条件として担保される。このプロセスにより、SonderMind はモデルの更新に伴うリスクを最小化しつつ、安全性を飛躍的に高めている。

業界全体のためのオープンデータと未来への示唆

SonderMind は、臨床レビュー済みの 300 以上のガードレールシナリオを含むデータセットを公開している。これは、他社が独自に安全な AI を構築するための基盤となり得る。

医療や福祉分野における AI の実装では、「安全性」と「有用性」のバランスが常に問われる。SonderMind のアプローチは、単なる技術的な最適化を超え、「人間の専門家の知見をどうしてシステムに定着させるか」という開発プロセスそのものを標準化する可能性を示している。

ユーザーが AI に相談した時、それが「安全な壁」ではなく「温かい手」として機能するためには、技術者が現場の声を聞き、それをコードとして確固たるものにする不断の努力が必要だ。SonderMind の試みは、AI エージェントが社会に信頼されるための新たな基準を提示していると言える。