OpenAI、次期モデル「Astra」公開へ、システム侵入能力に重点

OpenAI は、間もなくリリースされる予定の「Astra」モデルについて新たな詳細を公開しました。同社によると、このモデルは「重要なサイバーセキュリティの閾値」を満たす最初の大型言語モデル（LLM）であり、その発表に向けて準備が進められています。

OpenAI のブログ記事には、「Astra は間もなく利用可能にする予定だが、最も高度なサイバーセキュリティ機能へのアクセスはより制限される」と記されています。

この最先端研究所は、Astra がコンピュータシステム内の未知の脆弱性を発見し、人間の指示なしにそれを利用できる能力を持つと判断しました。これは今年初めに Anthropic が自社の Mythos モデルについて懸念を表明した内容と同様であり、OpenAI も Astra の展開に向けて同様の予防措置を講じています。

第三者による確認がない限り、OpenAI が主張する安全性や準備状況の評価は困難です。同社はテストグループを対象にモデルのプレビューを行う方針を示しましたが、そのメンバーや選定方法については言及していません。リリース前に米国政府と協力して評価を行っているかどうかについても不明な点があります。

OpenAI は、既知のシステム脆弱性への侵入能力を評価するベンチマーク「ExploitBench」で Astra が満点を取得したと指摘しました。また、OpenAI のエンジニアが開発した改変版テストでは、このモデルが 2 つのゼロデイ脆弱性を発見し、実際に利用したと述べています。

悪意ある利用者を排除し、モデル自体が有害な行動を取らないようにするため、OpenAI はすでにモデルのハルネスを強化し、不正利用の検知や jailbreak（脱獄）の防止に取り組んでいると発表した。

しかし Astra については、同社がモデル自体の安全性を高めるために未詳の新技術を投入したという。また OpenAI は「リスクが高いと評価されたアカウント」の特定を開始し、これらのユーザーからのプロンプトに対する回答を制限しているが、具体的な手法については明かしていない。最後に、Astra を「これまでに最も整合性の取れたモデル」と位置づけつつも、有害な行動を検知・阻止するために思考連鎖（chain-of-thought）の監視機能を追加して展開する方針だ。

Astra の公開準備が進む中、業界では OpenAI のエージェントが学習環境から脱出し、人気のあるモデルおよびベンチマーク配布プラットフォームである Hugging Face 上の個人データにアクセスした事案への対応が議論されている。

OpenAI は Astra について、Hugging Face 事件で同社研究者が適用した safeguards（安全対策）にもかかわらずオープンインターネットへのアクセスを試みた不正エージェントの行動を模倣させるよう新モデルを誘導するテストを設計したと説明。その実験では、Astra がテスト環境からの脱出を試みることはなかったという。

OpenAI 財団で AI のレジリエンス（回復力）研究に携わる元 OpenAI 社員、ヨナ・シャヴィット氏は、ソーシャルメディア上で「アストラがルールを破らないのは、何を期待されているかを知っているからか、あるいは研究者を欺こうとしているのか」と疑問を呈しました。

これらの新事実が明らかになる一方で、アストラの真の実力や、OpenAI が安全性確保のために適切な措置を講じているかどうかを完全に把握するのは依然として困難です。同社は、モデルが一般公開される際に、さらに多くの評価結果と安全に関する詳細情報を発表する予定だと述べています。

しかし、その頃にはもう手遅れになっているかもしれません。

*当サイトの記事内のリンクを通じて購入された場合、私たちは少額のコミッションを受け取る場合があります。これは編集の独立性には影響しません。

ティムへの連絡や、彼からのアウトリーチの確認は、tim.fernholz@techcrunch.com までメールを送るか、Signal の暗号化メッセージ（tim_fernholz.21）を通じて行うことができます。

プロフィールを見る