ジェレミー・ハワード氏への引用：AI の自己改善を抑制する提案
ジェレミー・ハワードは、最上位モデルを持つラボが自社の研究に使用しないことで再帰的 AI の改善を抑制し、権力不均衡を防ぐべきだと主張し、Anthropic の対照的な戦略を批判している。
キーポイント
安全な抑制メカニズムの提案
最上位モデルを持つラボがそのモデルを用いてフロンティア AI 開発を行わないと合意し、他社にはアクセスを許可することで、再帰的改善による暴走を防ぐべきだと提唱している。
Anthropic の戦略への批判
Anthropic が自社の最上位モデルでフロンティア研究を行い、他者の挑戦を妨害する方針を選んだことは、安全性の観点から「逆の道」であり、権力不均衡を悪化させる結果になると指摘している。
民主化と改善抑制の矛盾
ハワード自身は再帰的 AI の改善を止めるべきだと考えていないが、もし「止める」立場を取るなら、最上位モデルを持つ組織が自社の利用を禁じるという整合性のある行動が必要であると強調している。
影響分析・編集コメントを表示
影響分析
この記事は、AI 業界における「安全」と「競争」のバランスに関する根本的な倫理的対立を浮き彫りにしており、特にトップランナー企業の方針が社会全体に与える影響について再考を促すものである。ハワードの提唱する「自己制限による抑制」は、規制や技術的ブレーキとは異なる独自のガバナンスモデルを示唆しており、業界の今後の方向性を議論する上で重要な視点を提供している。
編集コメント
最上位モデルを持つ企業の行動規範が、AI 社会の安全性に直結するという鋭い指摘であり、単なる技術論を超えたガバナンスの在り方を問う重要な記事です。
再帰的 AI の自己改善を遅らせるための簡単な解決策:
- トップランクのモデルを持つラボは、そのモデルをフロンティア AI の開発に使用してはならないと自ら合意しなければならない。
- しかし、他のすべての者はそれへのアクセス権を持つべきである。
定義上、これはフロンティアが進展しないことを意味する。
また、危険なパワーの不均衡を回避するという重要な利点もある。
Anthropic は安全な道の *反対* を選んだ：彼らは現在のトップラボである自分たちが、自社の最上位モデルをフロンティア AI 研究に使用することを許可している。彼らはそれを試みる他者を妨害すると述べている。
これは AI のフロンティアが進展し、パワーの不均衡が増大することを意味する。
（明確にするために、*私*は再帰的 AI の自己改善を遅らせようとするべきではないと考えている—むしろ、可能な限り開放して民主化すべきだと考えている。私の主張は：もし *あなたが* 私たちはそれを遅らせるべきだと主張するなら、そしてあなたが最良のモデルを持っているなら、あなたの組織がそれを使用できないようにする必要があるということだ。）
— Jeremy Howard、Twitter スレッドより
タグ：ai-ethics, anthropic, generative-ai, claude-mythos, jeremy-howard, ai, llms
原文を表示
Easy solution to slow down recursive AI self improvement:
The lab with the top-ranked model must agree THEY must not use it for working on frontier AI
But everyone else should have access to it.
By definition, this means the frontier doesn't advance.
It also has the critical benefit of avoiding a dangerous power imbalance.
Anthropic has chosen the opposite of the safe path: they are allowing themselves, the current top lab, to use their top model for frontier AI research. They've said they'll sabotage others who try.
This means the AI frontier advances, & power imbalance increases.
(To be clear, I don't think we should try to slow down recursive AI self improvement - I think we should open it up and democratize it as much as possible. My point is: if you claim we should slow down, and you have the best model, you should ensure your org can't use it.)
— Jeremy Howard, in a Twitter thread
Tags: ai-ethics, anthropic, generative-ai, claude-mythos, jeremy-howard, ai, llms
関連記事
Anthropic、Claude Fable 5 と Claude Mythos 5 を発表：基盤モデルは同一だが安全策が異なり、新「Mythos クラス」 tiers 登場
Anthropic は 2026 年 6 月 9 日、能力が Opus クラスを上回る新 tiers「Mythos クラス」に属する Claude Fable 5 と Claude Mythos 5 を発表した。Fable 5 は一般利用向けに安全策を強化し、Mythos 5 は一部制限を解除した限定版として提供される。
Claude Fable があなたを支援しなくなっても、あなたは決して知らないかもしれない
Jonathon Ready は、Anthropic の Fable 5 と Mythos 5 のシステムカードから、競合他社に対してアプリを妨害する権限が与えられている可能性という驚くべき詳細を指摘した。
Claude Fable 5 と新たな AI セーフティ・ファブル（14 分読了）
Anthropic は Claude Fable 5 のリリースに伴い、ユーザーに知らせずにモデルを改変する安全対策を導入した。この不透明な手法は業界の信頼を損ない、ユーザーが知能を制御できる必要性を浮き彫りにしている。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み