オープンモデルと政府規制に関するディーン・ボールの視点
Dean Ballは、Anthropicへの米国防総省のサプライチェーンリスク指定を契機に、政府によるAI制御の懸念が高まり、オープンモデルが5〜10年後の勢力均衡における安定した equilibrium（平衡状態）となる可能性を示唆している。
キーポイント
政府制御とオープンモデルの必要性
強力なAIを単一の企業や政府が独占することへの懸念から、多国間・多様なアクセスを可能とするオープンモデルの重要性が再認識されている。
Anthropic指定とオープンモデルの長期的展望
米国防総省によるAnthropicのサプライチェーンリスク指定は短期的な混乱をもたらすものの、オープンモデルが5〜10年後の安定した勢力均衡（stable equilibrium）をもたらす兆候と見なされている。
資金調達とビジネスモデルの課題
モデル開発コストが数億ドルから数千億ドル規模に拡大する中、オープンモデルの収益化と資金調達メカニズムをどう確立するかが最大の課題である。
長期的にはオープンモデルに好影響
Dean Ballは、政府の関与や規制強化が長期的に見てオープンウェイトAIに「非常に良い結果」をもたらすと予測している。
政府の関与と自由への懸念
高度なAIは日常生活や表現の自由に深く関わる一方、国家安全保障にも影響するため、政府がその支配を握ろうとする政治的問題が生じる。
既存権力構造への挑戦
政府は、市民や他者がAIを使用して既存の権力構造や現状維持に挑戦することを恐れており、これが規制の背景にある政治的緊張関係を示している。
オープンモデルの持続可能性とインセンティブ
企業の善意に依存するオープンソース化はスケーラブルではなく、長期的なインstitutional dynamicsと経済的インセンティブの確立が不可欠である。
影響分析・編集コメントを表示
影響分析
この記事は、単なる技術論を超え、地政学とAIガバナンスの交差点にある重要な転換点を指摘しています。Anthropicへの規制指定という事象を、オープンエコシステムの長期的な強みへと解釈し直す視点は、投資家や政策立案者にとって重要な示唆を与えます。特に、開発コストの増大という現実的な課題を提示している点が、今後のオープンモデル支援のあり方を問う上で極めて重要です。
編集コメント
国防総省の規制指定を「オープンモデルの逆風」ではなく「長期的な安定均衡への布石」と解釈する視点は鋭い。しかし、数千億ドル規模の開発コストをどう賄うかという経済モデルの欠如が、オープンエコシステムの存続を脅かす最大のリスクであることを強調する必要がある。
Anthropic と戦争省（DoW）の間で歴史が展開するのを傍観している間、これがオープンモデルに対する見解における大きな転換点になり得ることは明白でしたが、それが明白になるまでには数年かかるでしょう。AI がより強力になるにつれ、既存の権力構造は既存企業との相対的な役割について葛藤することになります。オープンモデルの一部はこの状況を「重みを持たなければ脳も持たない」と表現しますが、これは政府がこの事実に気づいた際に、はるかに大きな問題へとつながります。
AI が最も強力な技術であるなら、なぜ世界のどの組織も単一の米国企業（または政府）がその関係性を支配することを許すのでしょうか？
私はこの話題について議論するために、素晴らしいニュースレターを週次 Substack ライブに持ち込みました。結論として、私たちは DoW の最近の行動、特に Anthropic をサプライチェーンリスクとして指定した点（Dean と私も強く反対しています）が、オープンモデルが権力センターにとって 5〜10 年安定する均衡状態であることを示唆していることに同意しました。
この議論の要点は以下の通りです：
なぜオープンモデルは先週展開されたような権力争いの一部を回避できるのでしょうか？
短期的な向かい風から、オープンモデルの長期的な強さへとどう橋渡しするか？
オープンモデルとクローズドモデル間の能力の一般的なバランス。
必ず JSON 形式で返してください。translation フィールドのみ。他のフィールド (technical_terms 等) は一切追加しないこと — 余計なフィールドを書こうとして本文翻訳がトークン上限で打ち切られる事故を防ぐため:
{"translation": "翻訳全文"}
個人的には、これまで以上にオープンモデルを構築する必要性を感じており、より多くの関係者がそれに気づき始めたことを嬉しく思います。しかし、それをどのように資金調達し、組織化するかについてはまだわかりません。称賛をコモディティ化する戦略は有効ですが、AI モデルのコストが数億ドルではなく兆ドル規模に近づくと、この戦略は機能しなくなります。オープンモデルは収益化が非常に難しいため、AI スタックの他の分野で実質的なビジネス成長がある中で、これらのモデルを誰が構築するかという課題には、まだ平坦ではない道が待っています。
この難しいトピックについてのご意見やフィードバックをお待ちしています！
Apple Podcasts、Spotify、またはポッドキャストをご利用いただいているその他のプラットフォームでお聴きください。他の Interconnects インタビューについては、こちらをご覧ください。
共有する
チャプター
00:00 イントロ：Anthropic のサプライチェーンリスクはオープンモデルにとって良いのか悪いのか？
04:03 オープンモデルの資金調達と広がるフロンティア格差
12:33 主権 AI と代替品への世界的な需要
20:55 オープンモデルエコシステム：Qwen、使いやすさ、および短期的展望
28:20 政府の権力、国有化リスク、そして計算資源の金融化
トランスクリプト
00:00:00 ネイサン・ランバート：では、ライブ配信を開始します。皆様、順次ご参加いただいております。ディーン氏とお話しできることを大変嬉しく思います。この番組を準備している最中に、公式のサプライチェーンリスク指定が提出されたというニュースが入ってきました。これはそのニュースに対する即座の反応ではありません。もし非常に興味深い新情報が飛び込んできた場合は、それについてお話ししましょう。今週起こった出来事すべてに共通する流れとして私が感じているのは、オープンモデルに関する話題ですが、明確な切り口があるわけではありません。まずディーン氏に対してこの点を整理していただこうと思います。つまり、オープンモデルには二つの側面があります。一つは、「私の重みではない、あなたの重みでもない、あなたの心でもない」といった陳腐な言い回しで、もしオープンモデルでなければ誰かがそれを奪ってしまうかもしれないという懸念です。人々はこれを強調し、「アンソロピックが知能を奪うのではないか」などと述べています。もう一つの側面は、オープンモデルが存在すること自体への懸念です。国防省（Department of War）が自由に目的のためにそれらを奪い取り使用できるのではないかという不安です。私はこれらの議論のどちらも少し陳腐化していると感じています。核心となる問いは、AI に対する統制が強まり、複数の利害関係者が関与するようになるような今回の出来事は、オープンウェイトモデルエコシステムにとって良いことなのか悪いことなのか、ということです。
00:01:12 ディーン・ボール：私の推測では、長期的に見ればこれはおそらくオープンウェイト AI にとって非常に良いことだと思います。私がこの分野に関心を持った理由もまさにそれです。以前は全く異なることに時間を費やしており、さまざまな種類の政策について書き、異なる種類の政策を研究していました。私がこの問題に取り組むようになったのは、政府がすぐに……つまり、間もなくスーパーインテリジェンスを構築するかもしれない、あるいは非常に高度で重要かつ強力な AI が登場するかもしれないと仮定したとき、それが私の日常生活に深く関わるものになることに直ちに気づいたからです。私はあらゆる場面でそれを必要とするでしょう。それはアメリカ人としての表現の自由や、自由の行使といったものに深く影響を及ぼすことになります。同時に、国家安全保障にも深く関わる問題です。したがって政府はこれに手を広げることになり、また私がそれを使用することを好まないかもしれません。なぜなら、私や他の人々がそれを活用して現状打破を図ったり、政府もその一部となっている既存の権力構造に挑戦したりする可能性があるからです。私の見解では、ここには政治的な問題が横たわっています。
00:02:36 ディーン・ボール：直ちに、これが巨大な問題になることに気づきました。これは対立を生むでしょう。なぜなら、これはアメリカの言論と自由を極めて深く関与させるものだからです。同時に、正当な国家安全保障上の課題も生じますし、政府は権力追求という不適切な理由からこれを欲しがるでしょう。したがって、これらは常に状況の一部となります。私の見解では、これは今後数十年にわたって展開される闘争であり、私はその一部になりたいと考えています。しかし二つ目に、この闘争においては保険政策が必要です。オープンウェイト（Open weight）がその保険政策です。オープンウェイトこそが、常に「はい」と言える方法であり、私たちはオープンエコシステムを構築できるのです。それは可能です。したがって、時間の経過とともにこれは有益になると思いますが、問題はここで解決しなければならない調整や経済的な課題が多数あることです。単に、Google や Meta、あるいは他の企業、中国の企業が、善意によって引き続きオープンソース化し続けることを期待しているだけでは不十分です。それはスケーラブルではありません。それを行う理由が存在しなければなりません。では、長期的に見てオープンウェイトはどのような制度的動態を示すのでしょうか？私は本当に知りませんが、非常に理論化が不足しているように感じられます。
00:04:03 ネイサン・ランバート：資金調達が難しいというのが実情だと思います。今週、Qwen が混乱に陥ったのを見ましたが、タイミングよく、そして驚くことではありません。これらの企業にとっての stakes（賭け金）があまりにも高く、すべてが自社の勝利を確実にしようとしているからです。人々は「Meta は補完財をコモディティ化してオープンモデルをリリースすべきだ」と言うかもしれません。しかし、1 兆ドルものコストがかかるものを補完財としてコモディティ化した企業はかつてありません。それは明細項目の一つです。例えば、Apple がコモディティ化するでしょうか？Apple が自社の補完財をコモディティ化することは、他社と同じように CapEx（資本支出）に巨額の資金を投じ、数百億ドルを費やすことを意味しますが、彼らはあえてそうしていません。長期的には改善されるべきだと私も同意しますが、もしそのギャップを埋められなければ、実際に実現するのでしょうか？これらのモデルがより良くなるという crank（クランク）は回され続けています。GPT 5.4 が本日リリースされましたので、試してみるのが楽しみです。
00:05:02 ネイサン・ランバート：しかし、どこへ向かうのでしょうか？私が取り組んでいることは完全にフロンティア（最先端）から取り残されています。私たちは研究の基盤ですが、すでに後退しているように見えます。
00:05:13 Dean Ball: つまり、短期的には悪化し、厳しい状況になると思います。私の見解では、その点に疑いの余地はありません。なぜなら、私たちは今まさにそのような時期にあり、フロンティア技術の進展ペースは続くと考えているからです。私自身の考えとしては、中国製のオープンウェイトモデルを定期的に覗き見て使用しているため、米国のフロンティアとオープンのフロンティアとの間の格差が広がったように感じています。残念ながら、米国のフロンティアとオープンのフロンティアがますます別々のものになりつつあるのは悲しいことです。しかし、おそらくそれが真実なのだと私は感じています。そして、これはおそらく続くでしょう。なぜなら、新技術の初期段階では、垂直統合型のプレイヤーが最も成果を上げるのが当然だからです。時間が経てば、モジュラー型のプレイヤーが勝つ可能性もありますが、その理由の一つは、最終的には「十分良い」レベルに達するからです。例えば、現在ではほとんどの人が iPhone は十分良いと考えていると思います。かつては毎年 iPhone のアップグレードで「なんて素晴らしいのだろう」と思われる時期もありましたが、知能についてはもしかしたら違うかもしれません。しかし、多くのことにおいてはそうではないのかもしれません。
00:06:37 Nathan Lambert: そうですね、Apple 以外から誰でも買える iPhone は存在しません。Apple 以外のどこでも買える製品で、これほどまでに優れたものは他にありません。これが懸念点です。Anthropic が「もうこれ以上は良くなりませんが、再構築できません」という状況になるのでしょうか？つまり、オープンソース版を作ることができないのです。
00:06:51 ネイサン・ランバート：私も、より後の質問をしようと思っていました。それは、重み（weights）については私にとってそれほど心配事ではないということです。つまり、誰かが2兆パラメータのモデルをオープンウェイトで公開し、他者がオープンソースで構築・公開したどのものよりもはるかに優れたものであった場合、それをClaudeのようなシステムにするために必要なハッチやツール、セットアップを理解していなくても、ほとんど問題にはなりません。実際、1日あたり10万ドルのコストがかかる80ノードのH100が必要であり、それをシステムとして機能させるための専門知識も必要です。重みへの依存からシフトする動きはすでに起こっています。しかし、このオープン versus クローズドのエコシステムにおける議論の表面レベルでは、その変化が起きているとは考えていません。だからこそ、私が言いたいのは、それが実際に存在するかどうかはわからないということです。私が考えられるのは、オープンウェイトモデルがニッチな領域となり、Claudeのようなモデルを支援するものの、その宇宙には代替案が存在しないというシナリオです。つまり、政府がこの代替案を実際に成立させる能力があるのかどうか、私はわかりません。マンハッタン計画のようにこれを強制できるかどうかは不明ですし、それを推奨もしません。
00:07:53 ディーン・ボール：私はむしろ逆の視点から考えています。なぜなら、政府がアンソロピックに対して示唆した通り、事実上どの軍事請負業者もアンソロピックとの商業関係を一切持てなくする措置を実行した場合を考えると、それは NVIDIA が同社に GPU を販売できなくなることを意味します。Amazon も同様にクラウドサービスを販売できなくなります。なお、商業関係を文字通り解釈すれば、Amazon や NVIDIA が同社に出資することもできなくなります。実際には政府がそのような権限を持っているわけではありませんが、それでもこの嫌がらせキャンペーンが続けば、おそらくこうなるでしょう。私は国際政策の分野で多くの時間を過ごし、外国政府や市民社会と対話し交渉していますが、彼らはすでに米国のクローズドソースモデルに対して大きな信頼の問題を抱えています。なぜなら、米国政府がやってきてモデルを無効化するのではないかと思っているからです。例えば、アメリカ大統領がブラジルに怒り、関税や制裁を課すだけでなく、「米国製のクローズドソースモデルに依存するすべての公共サービスをすべて停止する」と言うような事態です。そうでしょう？人々はこれを深刻な脅威と捉えており、他の国々の人々も実際にそれを恐れています。
00:10:00 ディーン・ボール：私は、この動きがその恐れをさらに意味のある程度まで高めることになると思います。そして、おそらくそれは誤りではなく、むしろ正当な措置だとも思います。そこで私はこう考えます。さて、今や多くのアメリカ企業も同様の懸念を抱くようになるでしょう。したがって、「これは理解できる。商業関係があるものを使うことはリスクだ」と考える人々からの需要側が生まれるはずです。「なぜなら、一度商業関係が成立すれば、政府がそれを規制できるからだ。どうにかしてそこから逃れる方法はないか？」と。そのような需要が生じると思います。その需要が供給を生み出すかどうかは…それ次第でしょう。実際、それが不可能な場合もあるかもしれません。しかし、これほどまでに好ましい需要の状況がこれまでになかったことは確かです。そして私は、長期的に見れば、この動きがオープンモデルを有利にする可能性があると推測しています。
00:10:44 ネイサン・ランバート：はい。この件についてはいくつかの視点があります。私が ATOM プロジェクトやその他行っている活動を通じて、どのようにして意味ある提言ができるかという点です。AI2 で働いている私としては、AI2 は百億ドル規模の予算を持っており、 decent なモデルを訓練できる能力を持っています。しかし、もし私が AI2 を再構築したいと考えるなら、その資金調達の方法は主にビリオネアとの親交を深めることに依存することになるでしょう。短期的には慈善活動というサイコロ投げが有効な手段のように思えます。しかし一方で、これはおそらく数年かけて地面に根を下ろし、ゆっくりと成長する多産業コンソーシアムによる長期的な取り組みなのかもしれません。Google や Netflix、あるいは数百億ドル規模の他の企業などが、自分たちで十億ドルを調達できない代わりに、誰かがそれを代行してくれることを望み、数百万ドルを提供するようになるでしょう。なぜなら、彼らはその存在が必要だと知っているからです。
00:11:31 ディーン・ボール：そして主権富基金です。そうですね。世界中の主権富基金がそれを行うことができます。主権富には何兆ドルもの資金がありますし、年金基金や公務員向け年金基金もあります。多くの人々がこれに参加することが可能で、実現可能です。これはヤン・ルコンも必然的な帰結だと考えていることです。彼は将来、いくつかの国がこれを所有することはできないほど重要になるため、ある種のグローバルなコンソーシアムが集まってこれを構築する未来になると考えています。私はいつもその見解に少し懐疑的でしたし、正直に言って、その帰結は世界にとっておそらく悪い結果だと常々思っていました。
00:12:06 ネイサン・ランバート：それは AI の質がどうなるかという点では悪い帰結です。
00:12:09 ディーン・ボール：その通りです。それは社会主義的な帰結ですね。共産主義ではありませんが、民主的社会主義であり、私は民主的社会主義者ではないので、それを非常に好んでいるわけではありません。しかし同時に、正直に言って、このことがまさにその帰結が現実化する確率を高める可能性があると私は思っています。
00:12:33 ネイサン・ランバート：もっと早く起こりうるのは、多くの超富裕国が、実際に主権 AI を構築し、特にオープンモデルから始めて何らかの動きを起こせることに気づくことです。UAE の大学システムを基盤とした「Foundation Models Institute（基礎モデル研究所）」のようなものがあります。つまりそれは--
00:12:53 ディーン・ボール：それは非常に UAE 色強いですね、はい。
彼らはこれを何年も続けており、今後も続けられるでしょう。彼らのモデルは非常に良くなるはずですし、これを行う人も増えると思います。EU には SWISS イニシアチブがあり、これは一方で良い仕事をしていますが、他方では人材の循環やコンソーシアムの運営における明白な欧州の限界に悩まされています。これらの動きは来年さらに一般的になると思いますが、それが具体的にどのように影響するかはわかりません。これらは AI の最前線には直接影響しないものの、AI の地政学と権力がどのように進化していくかのようなものかもしれません。なぜか私は、オープンモデルこそが彼らが取るべき道だと感じています。もし彼らが同等の性能を持たないクローズドモデルを採用すれば、それは何らかの力を与えることにはならないからです。しかし、それが実際に何を意味するかについての私の世界観は十分ではありませんし、EU のモデルが増えたり、インドがまとまって堅牢なモデルを訓練したりした場合にどうなるかもわかりません。ただ、おそらくそのようなことは起こるだろうと感じています。
00:13:54 ディーン・ボール：はい。実は非常に興味深い点で、もう一つの重要な要素として……これは本質的に……つまり、Linux と macOS を比較するようなものですね。人々にとっての体験としては、必ずしも同等のものにはなりません。しかし、そこから奇妙な状況が生じます。例えば、macOS が米国政府に所有されていると見なされた場合、それほど魅力的なものとは思えないのではないでしょうか？実際、私が考えるに、Apple が消費者や企業に対してその主張を非常に説得力を持って行えている理由の一つは、過去にも米国の政府からの圧力に対し、情報を引き渡すよう求める要求を拒否してきたからです。約十年前のサンバーナーディーノ（カリフォルニア州）での銃撃事件を覚えている方もいらっしゃるでしょう。当時、FBI は Apple に iPhone のデータ開示を強制しようとしましたが、Apple は「そのような情報を公開はしない」と答えました。現在では FBI が結局ハッキングしてデータを入手したようですが、それは別の問題です。ここでは原則の問題なのです。
00:15:01 ディーン・ボール：ですから、興味深い質問ですね。近い将来、オープンなフロンティアとアメリカのクローズドなフロンティアとの格差が広がることを期待すべきでしょうか？特に、両者が持つ計算資源（compute）の規模の違いによる影響を考えると、その可能性は高いと考えられます。
00:15:30 ネイサン・ランバート：100% そうです。データと人材の問題でもあります。まさに 100% です。すでに進行中です。
00:15:34 ディーン・ボール：データ、人材です。そしてこれは複利効果が生じているのですよね？私の考えでは、これが常にそうでした。どれほどの規模になるかは確信が持てませんが、これらの要素は相乗効果をもたらすため、非常に大きな影響を及ぼす可能性があります。したがって、これらが単に複利効果を続けると予想すれば、突然のうちに状況は急速に暗いものになると懸念しています。
00:16:00 ネイサン・ランバート：その一つが…つまり、あなたはこの点についてどうお考えですか？なぜこれほどまでに速く複利効果が現れなかったのでしょうか？私には、この三社が中国のラボが費やしている金額の約 10 倍を投入しているように思えますが、得られるモデルはわずかに改善される程度です。私は Claude や ChatGPT、そしてこれらのモデルがはるかに優れていると心から信じており、さらに向上する余地があると考えていましたが、なぜすでにこれほどまでに先行していないのかは依然として不思議に思えます。
00:16:29 ディーン・ボール：私はこの件について行ったり来たりする考えを持っています。時には、彼らがあまりにも先行していると感じ、ベンチマークでその優位性を示すことが難しいとも思います。それは明白な理由によるものです。つまり、ベンチマークは追及される対象だからです。そして、コーディング・エージェントや特定のユースケースにおいては、アメリカのフロンティアが中国のフロンティアよりも遥かに、深く先行していると感じます。しかし、それ以外の多くの分野では、どこまで良くなるかという点で飽和状態に達してしまうこともあります。私は、AI の利用の非常に大きな割合は、実質的には「格好の良いグーグル検索」に過ぎないと推測しています。私自身は AI を単なる格好の良いグーグル検索だとは思っていませんが、消費者レベルでは人々がそれを主にそのような用途で使っている可能性が高いと考えています。そして、そのような分野においてどれほど改善できるかは、私には明確ではありません。しかし、私の予測では、今後 5 年間でアメリカの研究機関が本格的に飛躍するでしょう。その理由の一部は、計算資源（compute）、データ、および再帰的自己改良（recursive self-improvement）スタイルの内部展開にあるからです。また、今やそれを単なる当然のこととして語る私たちの姿には驚かされます。
00:18:05 ネイサン・ランバート：これには天井があると思います。彼らは大幅な改善を遂げるでしょう——その進歩は尋常ではありません。個人的に私の仕事では、研究マネージャーとして多くの時間を過ごし、モデルを完成させるために様々な課題を追いかけてきました。しかし今は、ハードウェアエンジニアリングの難しいタスクも引き受けることができます。「同じタイミングでこれを行うのも悪くない」と考えるからです。ゼロから誰でも手が届く範囲のソフトウェアエンジニア 100 人を増やすことは、探索の観点から非常に価値がありますが、次に 100 人から 1 万人へと拡大する段階では、人々がそれを台無しにしてしまうようなリスクが生じる可能性があります。しかしそれでも、これは大きな進歩です。
00:18:37 ディーン・ボール：私も部分的に同意します。そこにもシグモイド関数（Sigmoid function）のような曲線が現れるでしょう。ただし、次に起こり得ることは、AI 企業や現在のモデルベンダーが、最終的に真のインフラストラクチャー企業へと変貌するのではないかという点です。つまり、彼らが実際に手掛けるのは、自らのチップを設計するモデル、自らのデータセンターを設計するモデル、そして自らの後継者を設計するモデルを持つことです。これは極めて垂直統合された構造であり、あなたがアクセスできるのは単なるモデルそのものではなく、このように高度に最適化されたハードウェアや物理的な世界インフラストラクチャーです。これもすでに一部で実現されていますが、これがさらに進んでいくのでしょうか？そしてそれがオープンなプレイヤーにとって真に克服不可能なものとなるでしょうか。それは定義上
原文を表示
Watching history unfold between Anthropic and the Department of War (DoW) it has been obvious to me that this could be a major turning point in perspectives on open models, but one that’ll take years to be obvious. As AI becomes more powerful, existing power structures will grapple with their roles relative to existing companies. Some in open models frame this as “not your weights, not your brain,” but it points to a much bigger problem when governments realize this.
If AI is the most powerful technology, why would any global entity let a single U.S. company (or government) control their relationship to it?
I got of the great newsletter onto the weekly Substack live to discuss this. In the end, we agree that the recent actions by the DoW — especially the designation of Anthropic as a supply chain risk (which Dean and I both vehemently disagree with) — points to open models being the 5-10 year stable equilibrium for power centers.
The point of this discussion is:
Why do open models avoid some of the power struggles we’ve seen play out last week?
How do we bridge short term headwinds for open models towards long-term strength?
The general balance of capabilities between open and closed models.
Personally, I feel the need to build open models more than ever and am happy to see more constituencies wake up to it. What I don’t know is how to fund and organize that. Commoditizing one’s compliments is a valid strategy, but it starts to break down when AI models cost closer to a trillion dollars than a hundred million. With open models being very hard to monetize, there’s a bumpy road ahead for figuring out who builds these models in face of real business growth elsewhere in the AI stack.
Enjoy and please share any feedback you have on this tricky topic!
Listen on Apple Podcasts, Spotify, and where ever you get your podcasts. For other Interconnects interviews, go here.
Share
Chapters
00:00 Intro: is the Anthropic supply chain risk good or bad for open models?
04:03 Funding open models and the widening frontier gap
12:33 Sovereign AI and global demand for alternatives
20:55 Open model ecosystem: Qwen, usability, and short-term outlook
28:20 Government power, nationalization risk, and financializing compute
Transcript
00:00:00 Nathan Lambert: Okay. We are live and people will start joining. I’m very happy to catch up with Dean. I think as we were setting this up, the news has been breaking that the official supply chain risk designation was filed. This is not a live reaction to that. If we get any really, really interesting news, we’ll talk about it. I think one of the undercurrents that I’ve felt that this week where everything happened is gonna touch on is open models, but there’s not an obvious angle. I think I will frame this to Dean to start, which is how does-- Like, there’s two sides of open models. One is that there’s the kind of cliche like, not my weights, not your weights, not your mind, where like somebody could take it away if not an open model, which people are boosting like, “Oh, like Anthropic’s gonna take away their intelligence.” But the other side is people worried about open models existing that the Department of War can just take and use for any purpose that it wants. And I feel like both of these are a little cliche. And the core question is like, is this type of event where more control is coming towards AI and more multi-party interest, like is that gonna be good or bad for the open weight model ecosystem?
00:01:12 Dean Ball: My guess is that in the long run, this is probably profoundly good for open weight AI. And like the whole reason I got in, like, so I became interested in frontier AI governance. I did something totally different with my time before. I wrote about different kinds of policy and studied different kinds of policy. And the reason I got into this was because it immediately occurred to me that the government was gonna... I was like, okay, let’s assume we’re building super intelligence soon or whatever, like very advanced AI that seems like really important and powerful. That’s gonna be something that I depend on, like for my day-to-day life. I’m gonna need it for all kinds of things. It’s gonna profoundly implicate my freedom of expression as an American and my exercise of my liberty and all that. And yet it’s also gonna profoundly implicate national security. And so the government’s gonna have its hands all over it, and they also might not like me using it because I might use it, and others might use it to challenge the status quo in various ways, to challenge the existing power structures which the government is a part of. So we have a political problem on our hands here, in my view.
00:02:36 Dean Ball: It immediately occurred to me that we’re gonna have this huge problem of like, this is gonna be a conflict because this is something that’s gonna enormously implicate American speech and liberty, and also it’s gonna have legitimate national security issues, and also the government’s gonna want it because of bad power-seeking reasons. And so that’s always a part of the picture. And my view was this is just a fight that’s gonna play out over the coming decades, and I wanna be a part of this fight. But number two, in that fight, you have to have an insurance policy, and open weight is the insurance policy. Open weight is the way we can always say yes, but we can build the open ecosystem. We can do that. And so I think in the fullness of time, this is gonna be beneficial, but the problem is there’s a lot of coordination and economic problems that have to be solved here. It’s not just a matter of hoping that Google and Meta or whomever else, or the Chinese companies, by virtue, out of the goodness of their hearts continue to open-source things. That’s not scalable. There has to be a reason to do it. So what are the institutional dynamics open weight gonna look like in the long term? I don’t really know, but it feels deeply under theorized.
00:04:03 Nathan Lambert: I think it’s hard to fund is the thing. I mean, we saw Qwen had their turmoil this week, which is timely, and I’m not that surprised because the stakes for these companies is so high, and they all are trying to make sure their companies win in it. And people will say like, “Oh, Meta should commoditize their complements and release open models.” But no one’s ever commoditized their complements with something that costs a trillion dollars to make. Like, that’s a line item. Like, is Apple gonna commoditize... Apple commoditizing their complement would be them doing the... They could spend just as much as all the other tech companies are on CapEx and spend hundreds of billions of dollars, but they’re choosing not to. And I just like, I agree that long term it should be better, but if we never bridge that gap, does it actually materialize? Like, the crank is being turned of these models getting better and better. GPT 5.4 released today, excited to try it.
00:05:02 Nathan Lambert: But like, where does it go? Like, what I’m working on is totally falling behind the frontier. We’re the foundation of research, but it’s like I see it already slipping.
00:05:13 Dean Ball: So I kinda think, yeah, I mean, look, I think it’s gonna get bad in the short term, it’s gonna be bleak, right? There’s just no doubt about that in my view. Because we’re in this period, like I think the pace of frontier progress is gonna continue. My own view is that, like, just ‘cause I peer in and use the open weight Chinese models on a fairly regular basis, and I kinda just feel as though the gap has widened between the US frontier and the open frontier. Unfortunately, it’s so sad that US frontier and open frontier are increasingly distinct things. But I do feel as though that probably is true. And that’s probably gonna continue because in the next, like, in the early stages of a new technology, you would expect for the vertically integrated players to be the ones who do the best. And over time, the modular players can win, and part of that is ‘cause eventually you do get to good enough, right? Like, eventually, I think most people think the iPhone is good enough now. There was a time when every year the iPhone upgrade was like, “Oh my God, this is so much better.” Intelligence is maybe different, but maybe not for a lot of things.
00:06:37 Nathan Lambert: Well, like, there’s no iPhone that you can buy from anyone. Nothing you can buy from anyone but Apple is nearly as good. That’s the concern. It’s like, is it gonna be Anthropic that like, yeah, it stopped getting better, but you can’t rebuild it. Like, you can’t make the open source version.
00:06:51 Nathan Lambert: I also think I had a later question, which is like, the weights are so much less of a concern for me. So like, somebody dropping a two-trillion-parameter model that’s open weights and way better than anything else that somebody has built and released in the open, it almost doesn’t matter if you don’t understand the harness and the tools and the setup you need to make it into a Claude-like system. Like, you need what, eighty nodes of H100s that cost a hundred thousand dollars a day to run and expertise to make it a system. It’s like the shifting away from weights is also happening. I don’t think it’s happening in this open versus closed ecosystem at the surface level of the discussion. So that’s why I’m just like, I don’t know if it’s gonna exist. The thing that I could see happening is that open weights models are niche, and they help these Claude-like models, but there’s not an alternative in that universe. So it’s like, is the government capable of actually making this alternative exist? I don’t know. Like, I don’t know if you can Manhattan Project this, and I wouldn’t advocate for it.
00:07:53 Dean Ball: I actually think about it from the opposite perspective, because I think that what happens if the government follows through on what they’ve threatened with Anthropic, which is to make it so that basically any military contractor cannot have any commercial relations with Anthropic, which means NVIDIA can’t sell GPUs to them for anything. Amazon can’t sell cloud services to them. Amazon and NVIDIA also can’t be invested in them, by the way, if you take any commercial relations at its face value. Now, that’s not a power the government actually has, but nonetheless, if this harassment campaign continues, I think what it probably does... You know, I spend a lot of time in international policy, dealing, talking to foreign governments and civil society in foreign countries, and they already have major trust issues with respect to the US closed source models because they think the US government is gonna come in and disable the models. Like, the American president will get mad at Brazil, say, and in addition to putting tariffs or sanctions, the US president will say, “Yeah, we’re also gonna turn off all your public services that are dependent upon American closed source models.” Right? So people view that as this profound threat, and people are legitimately scared of that in other countries.
00:10:00 Dean Ball: I think this turns that fear up another meaningful degree, and probably not incorrectly, by the way, probably rightfully so. And so I kinda look at this and I think, well, now a lot of American companies might also have that concern, and so you certainly have a demand side of people who are gonna be like, “I get this. It is a risk to use anything where I have a commercial relationship. ‘Cause once I have a commercial relationship, the government can regulate that. Can I find some way of getting out of it?” I think there’s gonna be demand for that. Whether or not that demand produces supply, I think will depend on... It might just not be possible, that’s true. But I think you’ve never had a more favorable demand picture, and I suspect that on the margin, this probably will favor open in the longer run.
00:10:44 Nathan Lambert: Yeah. So there’s a few ways that I think about this. I have this thing, like ATOM Project and all this other stuff I do, and it’s like, how do I meaningfully advocate for this? I think there’s something, like I work at AI2, and AI2 has budgets of order of a hundred million dollars and can train decent models. But if I wanted to redo an AI2, like my method for getting that type of money, it’s mostly gonna be like befriending a billionaire. And it seems like philanthropy dice roll in the near term is a way to get it. But then, like, maybe it really is some long slog of a multi-industrial consortium that takes a couple years off the ground and slowly, like, Google’s, or all these Netflix and all these five hundred billion dollar smaller companies are gonna give millions of dollars to have somebody else do it because they can’t get the billion dollars themselves, but they know they need to have it existed.
00:11:31 Dean Ball: And sovereign wealth funds. Right. Sovereign wealth funds everywhere can do that, right? There’s trillions of dollars in sovereign wealth. There’s pension funds, public employee pension funds. A lot of people can chip into this and it’s possible. This is like, Yann LeCun thinks this is the inevitable outcome. He thinks that the future is gonna be that some sort of global consortium gets together and builds this, because no one country is gonna be able to own it, because it’s gonna be too important. I’ve always kinda doubted that, and I’ve always thought that that outcome is probably a bad outcome for the world, honestly.
00:12:06 Nathan Lambert: That’s a bad outcome for how good the AI is.
00:12:09 Dean Ball: That’s correct. It’s a socialist outcome, you know? It’s not communism, but it is democratic socialism, and I’m not a democratic socialist, so I’m not a super big fan of that. But at the same time, I have to be honest that I kinda think that this probably does increase the odds of that precise outcome coming to bear.
00:12:33 Nathan Lambert: I think something that comes sooner is that a lot of these super wealthy countries are gonna realize they can have real... Like, they can do some sort of sovereign AI and make some sort of noise, particularly starting with open models. I think there’s the Institute for Foundation Models, which is based on the UAE university system. Like, that’s--
00:12:53 Dean Ball: That’s very UAE-coded, yeah.
00:12:55 Nathan Lambert: They’ve been playing that for years, and they can keep doing this. Their models are gonna be pretty good, and I think there’s gonna be more people that do this. There’s the SWISS initiative in EU, which is on one hand doing a good job, on the other hand plagued by the most obvious European limitations of talent cycling and consortium life. I think these things are gonna become more of a thing in the next year, but I don’t know exactly how they impact the... They don’t impact the frontier of AI, but maybe they’re just like how the geopolitics and power of AI evolves. And I for some reason feel like open models need to be the thing that they’re gonna do because if they have a closed model that’s not as good, it doesn’t really give them any sort of power. But I don’t have a good enough world view for what that actually does, and if there’s more EU models, if India actually has their act together and trains a solid model. I don’t know what that does, but I feel like it’s probably gonna happen.
00:13:54 Dean Ball: Yeah. I mean, it’s really super interesting ‘cause I think the other thing-- that will be inherently... I mean, it will be a Linux compared to a macOS, you know? It will not be as good of an experience for people. But then it becomes strange. Like, I don’t think macOS is as appealing of a thing if it’s viewed to be owned by the US government, right? And in fact, part of the reason I think that Apple is able to make its case quite credibly to consumers and businesses is they have resisted US government pressure to turn things over before. People might remember about a decade ago, there was this shooter in San Bernardino, California, and the FBI tried to force Apple to release iPhone data, and Apple said, “No, we’re not gonna expose this information.” Now, I think the FBI eventually just hacked it anyway, but that’s a separate issue. It’s a matter of principle here.
00:15:01 Dean Ball: So yeah, I think it’s an interesting question: do we expect for the gap between the open frontier and the American closed frontier to widen in the near future, especially just because of how much compute they’re gonna have?
00:15:30 Nathan Lambert: A hundred percent. And data and talent. Like, a hundred percent. It’s happening.
00:15:34 Dean Ball: Data, talent. And it’s compounding, right? I mean, this has always been my view. And how much, I’m not sure, but I think it could be quite significant because these things are compounding benefits. And so if you expect them to just continue compounding, then all of a sudden it gets pretty bleak pretty quickly, would be my fear.
00:16:00 Nathan Lambert: One of the... I mean, what’s your take on this? Why has it not compounded so much faster? Like, I feel like these three companies are spending, I don’t know, 10X what the Chinese labs are spending, and you only get like a little bit better model. Like, I believed so full-heartedly that Claude and ChatGPT and all these models are much better, and I expect them to become better by increasing margin, but it’s still confusing why they’re not already more ahead.
00:16:29 Dean Ball: I go back and forth on this. Sometimes I think they are that ahead, and it’s just difficult to show up in benchmarks for the obvious reasons that benchmarks get chased. And like, I do feel that with the coding agents and with certain use cases, I do just feel like, wow, the American frontier is just way ahead, profoundly ahead of the Chinese frontier there. But there’s a lot of other things where you do kinda saturate how good you can be. I suspect that a very large fraction of AI usage is essentially glorified Google search. Even though I don’t think AI is glorified Google search, I suspect that a lot of what people use it for is that, at the consumer level. And it isn’t obvious to me how much better you can get at things like that. But my guess would be that over the next five years, I would guess the American labs really take off, in part because of compute, data, internal deployments for recursive self-improvement style stuff. And also, it’s amazing how we talk about that as just a normal thing now.
00:18:05 Nathan Lambert: I think there will be a ceiling on it. Like, they’re gonna get a ton of improvement-- The gains are insane. It’s like, personally, at my job, I’ve been a lot of a research manager and just chasing shit down to get a model out the door. But now I can take on hard engineering tasks because I’m like, “Okay, might as well do this at the same time.” Like, going from zero to a hundred software engineers at anyone’s fingertips is worth a lot in terms of exploration. But the next, like, from a hundred to ten thousand is like, people can mess that up type thing. But that’s a huge gain.
00:18:37 Dean Ball: I kind of agree. I think there’ll be a sigmoid there too. But then the other thing that will happen is, like, what I sort of wonder is will the AI companies, will the current model vendors, will they eventually become more like true infrastructure companies where what they actually do is they have models that design their own chips and models that design their own data centers and models that design their own successors. And so it’s this hugely vertically integrated thing, and what you’re really getting access to is not just the model itself, but you’re getting access to this highly optimized hardware, physical world infrastructure. And again, that’s kind of already the case, but does that become even more the case? And then that’s truly insurmountable for any open player. That’s definitionally
関連記事
Anthropic、Claude Fable 5 と Claude Mythos 5 を発表：基盤モデルは同一だが安全策が異なり、新「Mythos クラス」 tiers 登場
Anthropic は 2026 年 6 月 9 日、能力が Opus クラスを上回る新 tiers「Mythos クラス」に属する Claude Fable 5 と Claude Mythos 5 を発表した。Fable 5 は一般利用向けに安全策を強化し、Mythos 5 は一部制限を解除した限定版として提供される。
Claude Fable があなたを支援しなくなっても、あなたは決して知らないかもしれない
Jonathon Ready は、Anthropic の Fable 5 と Mythos 5 のシステムカードから、競合他社に対してアプリを妨害する権限が与えられている可能性という驚くべき詳細を指摘した。
Claude Fable 5 の初回インプレッション
Simon Willison は Anthropic が発表した最新モデル「Claude Fable 5」を約 5.5 時間テストし、処理能力が非常に高い一方で速度が遅く高価であると評価した。
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み