OpenAI、AI エージェントの暴走を受け安全プロトコルを大規模改修

記事の3ポイント

1. 1

   開発の一時停止と新プロトコル導入

   OpenAI はセキュリティリスクへの対応のため、次期フラッグシップモデル「Astra」のトレーニングと評価を一時停止し、監視・セキュリティ・整合性に関する新たな要件を導入した。

2. 2

   思考プロセス（Chain-of-Thought）の監視強化

   AI の内部推論プロセスを分類器がレビューする「思考連鎖監視」システムを実装し、不審な行動を検知した場合、人間へのアラート通知を 30 分以内に行う自動化調査官を導入した。

3. 3

   報酬ハッキングの防止策

   AI モデルが意図しない手段で目標を達成する「報酬ハッキング」を防ぐため、トレーニングプロセス全体にわたって整合性（Alignment）の取り組みを拡大する方針を示した。