OpenAI チーフサイエンティストが監視不能性を警告

記事の3ポイント

1. 1

   再帰的自己改善とスーパーインテリジェンスの迫り来る現実

   パチョッキは内部結果に基づき、数年以内に再帰的自己改善が発生し、人間の知能を超えるシステムが出現すると予測している。

2. 2

   アライメント技術と監視手法の限界

   価値のアライメントにおける一般化が根本的な課題であり、現在の Chain of Thought による監視は効果 diminishing を示し、既存のアプローチでは安全を確保できないとしている。

3. 3

   OpenAI の unilateral なスケーリング停止と国際協調の必要性

   OpenAI は必要に応じて単独でスケーリングを停止する方針だが、これだけでは不十分であり、国際的な調整による公式な安全基準の強制が不可欠であると主張している。