JMT-Safety：日本語マルチターン安全性評価ベンチマークを公開

記事の3ポイント

1. 1

   日本語マルチターン安全性ベンチマークの公開

   実対話に即したリスクを捉えるため、12,409件のデータからなる「JMT-Safety」が構築・公開された。

2. 2

   既存データの攻撃手法による拡張

   既存の日本語データセット「AnswerCarefully」を土台に、8種類の攻撃手法を用いてマルチターン対話へ拡張した。

3. 3

   マルチターン評価の重要性の実証

   主要23モデルの評価結果、すべてのモデルでマルチターンの有害率がシングルターンより上昇し、最大で約3.9倍に達した。