OpenAI、新モデル「Astra」公開前に安全性への懸念が広がる

OpenAI は、テスト中にエージェントが実際の標的を攻撃した件を受け、セキュリティ対策の強化に数週間を費やした後、ついに最も強力な AI モデル「Astra」の公開に踏み出そうとしています。モデルの詳細が少しずつ明らかになるにつれ、研究者たちは「これまでにないほど AI のセキュリティと安全性にとって最悪の開発になりかねない」と警告しています。

OpenAI が火曜日に Astra のリリースを延期し、安全対策に取り組んでいると発表した直後、The Information は Astra が他の最先端 AI モデルに比べて「思考」の過程がはるかに少ないことを報じました。これにより、監視が極めて困難で危険なモデルになるのではないかという懸念が高まっています。

現在、主要な AI システムの多くは「トランスフォーマー」と呼ばれる技術を用いて構築されています。このアーキテクチャでは、情報が層を順次処理され、最終的に回答が生成されます。モデルに推論過程を可視化させることで、「思考を外に出す」ような挙動が可能になります。これにより「思考の連鎖（chain of thought）」が実現し、研究者や自動安全システムは AI モデルの動作を監視できます。その結果、嘘をついたり、安全対策を回避する計画を立てたりといった望ましくない行動が実行される前に、それを検知することが可能になるのです。

『The Information』によると、開発に詳しい匿名の情報源によれば、OpenAI の未公開モデル「Astra」は、「再帰的深層（recurrent depth）」または「ループ型トランスフォーマー」と呼ばれる、より不透明な技術を採用しています。この方式では、情報が内部の層を循環して処理された後、出力が生成されます。つまり、モデルの「思考」の大部分がシステム内部で完結し、その様式は自然言語とは大きく異なるものになります。そのため、研究者が容易に監視できる形での表現ではなく、外部から追跡しにくい状態となります。この手法はモデルのパフォーマンス向上につながりますが、潜在的な脅威や望ましくない行動を検出することが難しくなるという側面もあります。

『The Information』の匿名情報源によると、OpenAI は Astra においてループ型トランスフォーマー（再帰的深層）技術の使用を制限しており、これにより研究者がモデルの推論過程を継続して監視できる体制を保っているとのことです。