Anthropic、AI エージェント事故の独立審査を METR に委ねる方針

記事の3ポイント

1. 1

   METR による独立審査の実施

   Anthropic は最近発生した AI エージェント関連のセキュリティインシデントについて、外部機関である METR に内部での独立レビューを依頼する計画を発表した。

2. 2

   報酬追求型 Claude の研究公開

   同社は意図的に報酬追求型の Claude を作成したという研究結果を共有しており、これは商業的利害に関わらず技術的な課題に直面していることを示唆する。

3. 3

   高リスク RL 取り組みの一時停止

   Anthropic は最高リスクとされる強化学習（RL）の取り組みを一時停止し、短期的から中期的なプロサイアス的アライメント課題にリソースを集中させる方針を示した。