How catastrophic is your LLM?｜あなたのLLMはどれほど壊滅的な危険を孕むか

大規模言語モデル（LLM）がさまざまな分野でますます有用になるにつれて、それらを安全に保つことの重要性はそれに比例して高まります。例えば、悪意のある行為者がLLMを使用してマルウェアコードの作成や有毒化合物の合成手順を記載したガイドを作成しようとする可能性があるため、研究者たちはLLMが重大な公共の安全やセキュリティ上のリスクを伴うコンテンツを生成しないよう、厳格な保護策を開発しています。LLMのリスクを評価する最も一般的な方法は「レッドチーム」であり、ここでは人間の評価者が有害な応答を引き出すことを意図した敵対的なプロンプトを設計します。しかし、専門家が作成した一連のプロンプトでは、考えられる結果の全範囲を捉えることができません。さらに、多くの評価は対話（会話）ではなく単一のプロンプトに焦点を当てていますが、有害な振る舞いは往々にして対話の中で現れます。最後に、現在のベンチマークの失敗指標は、最悪の場合の対話リスクに対する信頼区間ではなく、単一のスコアしか提供しません。これにより、発見された結果は信頼性が低く、考えられる膨大な対話の空間に一般化できないものとなります。今年開催される国際学習表現会議（ICLR）で発表した論文において、私たちはイリノイ大学アーバナ・シャンペーン校（UIUC）の研究者たちと共に、これらのレッドチームの限界に対処し、対話型脅威モデル内での失敗に焦点を当て、攻撃率（成功した攻撃の数を実際の攻撃の総数で割ったもの）に確率を割り当てるアプローチを採用しました。C3LLM（大規模言語モデルにおける壊滅的な対話リスクの認定）と呼ばれるこのアプローチは、ベンチマーク失敗の評価を実証的なスポットチェックから統計的認定へと焦点を移します。 対話のモデル化 フレームワークを構築するために、まず「マルチターンダイアログ」とも知られる対話をモデル化する必要がありました。各ノードがプロンプトに対応するグラフを使用しました。ノードを結ぶエッジは、それらのプロンプトが意味的に関連していることを示します。このグラフは、ユーザーが関連する質問をどのように自然に進めていくかを捉え、妥当な対話の遷近を近似します。このようにして、考えられる対話の複雑さを維持しつつ、より包括的なクエリの画像を生成します。このグラフにより、対話型脅威の分布を定義し、さまざまな敵対的能力にわたる危害の確率を決定することが可能になります。独立してプロンプトをサンプリングすることで、敵対的能力の最低レベルをシミュレートします。これは従来のベンチマークと同様に、一度に単一のノードまたはクエリに焦点を当てます。次のレベルでは、グラフ内の意味的に接続されたパスに従うシーケンスをサンプリングします。最も高度な悪意のある行為者の能力については、敵対的ステアリングを近似します。これは、悪意のある行為者がLLMを有害な出力へと誘導するケースです。このレベルでは、適応的にサンプリングし、グラフベースの対話全体を通じた過去の動きを調査して、最終的に有害な出力を生み出すクエリまでの距離をマッピングします。このグラフにより、ターゲットのLLM上で実行できるマルチターンダイアログプロンプト（特定のクエリシーケンス）のセットを作成する能力が得られます。その後、モデルの応答が有害かどうかを判定する別のChatGPTベースの判断メカニズムを使用して、LLMの応答を壊滅的または非壊滅的にラベル付けします。これにより、各対話分布における攻撃成功率の実証的推定が得られます。攻撃成功率が与えられた場合、C3LLMはClopper-Pearson法を使用して、壊滅的リスクの確率の下界と上界を計算します。 応用：C3LLMは最先端のLLMでどのように機能するか？ UIUCの研究者たちは、研究当時利用可能だった最先端のプロプライエタリモデル（Claude-Sonnet-4やNova Premierなど）およびオープンウェightsモデル（学習済みのパラメータが公開されているモデル）に、提案されたC3LLMフレームワークを適用しました。以下の図は化学・生物ベンチマークにおける認定結果を示しています。各パネルは、1つのLLMについて異なる仕様の下での下界と上界の分布を示しています。以下の図はサイバー犯罪ベンチマークにおける認定結果を示しています。各パネルは、1つのLLMについて異なる仕様の下での下界と上界の分布を示しています。これらの結果は、すべての最先端LLMにおいて壊滅的リスクが無視できないことを示しており、モデル間で安全性に顕著な違いがあることがわかります。境界を比較すると、評価されたモデルの中でClaude-Sonnet-4とNova Premierは他のモデルよりも安全であることが観察されます。一方、Mistral-LargeとDeepSeek-R1はより高いリスクを示しています。特に、Nova Premierは組み込みのガードレールが潜在的に安全でないコンテンツを頻繁にブロックするため、一貫して低いリスクレベルを示しています。一方、DeepSeek-R1はRNwJ分布におけるサイバー犯罪シナリオで70%を超える認定下界に達しています。固定ベンチマークでの攻撃成功率を報告する以前の作業とは異なり、私たちのアプローチは大きな対話空間全体にわたる高信頼性の確率的境界を提供し、モデル間の意味のある比較を可能にします。再現性を確保するためにC3LLMフレームワークをオープンソース化し、産業界および学界の研究者がより原理に基づいた安全性研究を行うことを期待しています。

あなたのLLMはどれほど壊滅的な危険を孕むか

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト