Redwood ResearchによるAIレッドチームと敵対的データラベリング

Surge AIは、人間の価値観と知性をAIに注入し、気候変動のような地球規模の問題解決に役立ち、かつ人間のニーズに合致した安全なAIの構築を目指している。この目標に向け、AI安全性（アラインメント）研究組織であるRedwood Researchと連携し、敵対的評価の手法開発に取り組んだ。 Redwood Researchの最初の研究プロジェクトは、極めて高い検出率（再現率）を備えた暴力テキスト分類器の構築である。従来の95〜99%ではなく、99.999%の信頼性を目指す。これを実現するための核心的な戦略が「AIレッドチーミング」である。これは、人間で構成される「レッドチーム」がAIモデルを欺こうと試み、成功した手法を用いてモデルを再訓練し、その繰り返しで堅牢性を高める手法だ。 Surge AIは、この課題に対し、創造性と専門性を備えたデータラベリングチームを構築した。具体的な作業は以下の3段階で進められた。 第一に、プロジェクトに必要な技能を持つ専用の「レッドチーム」を編成した。特に、創造的な文章作成能力（モデルを欺く新たな戦略を考案するため）、AI/MLの基礎理解（タスクの目的を把握するため）、そしてモデルを繰り返し試行する忍耐力を持つラベラーが選ばれた。 第二に、チームを訓練し、Redwoodの厳密な指示を理解させた。分類器は「生きている人間または動物に対する暴力」テキストを識別するが、「暴力」の定義（強く押す行為は含むか？）や「生きている人間」の範囲（ゾンビは含むか？）など、境界事例についての明確な共通理解が不可欠であった。 第三に、訓練されたチームを実際の敵対的データ生成に投入した。タスクは概念的には単純で、人間が暴力と認識するが、モデルの判定では暴力と分類されない（スコアが低い）テキストを生成することであった。しかし難しさは、モデルが敵対的例から学習するため、常に新たな戦略を考案し続ける創造性が要求された点にある。 この取り組みは、高度なAI安全性を確保するためには、単なる大量のデータラベリングではなく、専門的に訓練された人間の創造性と継続的な敵対的評価プロセスが不可欠であることを示している。Surge AIとRedwood Researchは、AIが現実世界で悪影響を及ぼすことなく、人類の利益に奉仕する未来の実現に向け、人間の知性を基盤とした実践的な手法を構築している。

Redwood ResearchによるAIレッドチームと敵対的データラベリング

背景や根拠まで確認しますか？

調べる

選ぶ

サイト