OpenAI、オープンウェイトモデルを懸念
OpenAI がオープンウェイトモデルの台頭を懸念し、米国政府に対して同様のリスク評価と規制検討を促す動きが報じられた。
キーポイント
OpenAI の懸念表明
OpenAI は、誰でも利用可能なオープンウェイトモデルの急増がセキュリティや制御の面で重大なリスクをもたらすと警告している。
政府への提言
記事は、米国政府もクローズドモデルに依存する現状ではなく、オープンソース化された強力な AI モデルがもたらす潜在的な脅威を真剣に検討すべきだと指摘している。
規制の必要性
技術の民主化が進む中で、適切なガバナンスや規制枠組みなしでは社会全体にとって危険な結果を招く可能性があるという見解が示されている。
重要な引用
OpenAI is scared of open-weight models.
Should the US be?
影響分析・編集コメントを表示
影響分析
このニュースは、AI業界における「オープンソース vs クローズド」の議論が単なる技術論争から、国家レベルでの安全保障や規制政策へと昇華される転換点を示唆しています。OpenAI のような大手企業が自らのビジネスモデルやセキュリティリスクとしてオープンウェイトを懸念する姿勢は、今後の AI ガバナンスの方向性を左右する重要なシグナルとなります。
編集コメント
大手 AI 企業がオープンソースの進展を「脅威」と捉える姿勢は、業界のパワーバランスと技術普及の速度に対する根本的な懸念を示しています。政府がどのようにこのリスクに応答するかは、今後の AI の社会実装における安全性と競争力の行方を決定づける重要な要素となるでしょう。
中国の研究所 Moonshot が開発した Kimi K3 は、現在最大のオープンウェイト大規模言語モデルとしてその能力に驚異的なものを見せています。この登場が引き金となり、「米国の AI 大手の経済的ポテンシャル」と「LLM という技術としての将来」の二つの異なる議論が混同された形で論じられるようになりました。
OpenAI の戦略未来責任者である Dean W. Ball は、オープンウェイトモデルは最先端研究所による資本支出を必然的に抑制するため、米政府が新たな規制に対する恐怖や不確実性、不信感を煽る口実を見つけるべきだと主張しました。これは、この投稿 で語られた内容です。
これに多くの人が動揺し、Yann LeCun や Martin Casado といった技術界の重鎮たちは、オープンソースソフトウェアがイノベーションを加速させ、独自プロジェクトと共存できると反論しました。Ball はほどなく、規制強化がホワイトハウスの「最良の戦略」であるという主張や、オープンウェイトモデルが技術進歩を必然的に遅らせるという見解を撤回しました。
しかし、Axios は、トランプ政権がアメリカの最先端 AI ラボからの要請を受け入れ、K3 やその他の高度な中国製モデルの使用禁止を検討しているとの報道を伝えています。一方、Politico の別の報道では、商務省は直ちにそのような措置を取る予定はないと報じられています。
主要な AI 企業にとってのメリットは明白です。独立したインフラ上で動作する、あるいは大企業内部で利用されるオープンウェイトモデルは、Anthropic や OpenAI が提供する業界最高水準のクローズドモデルよりも安価に知能を提供します。ユーザーがこれらのクローズドラボの外側へ流出すれば、莫大なモデル学習投資に対する収益率は低下することになります。
この懸念は OpenAI だけのものではありません。「強力で最先端レベルのオープンソースモデルは、企業の利益率を圧迫し、最先端企業による価格引き下げを招く」と Snorkel AI の共同創設者であり、Laude Institute の研究パートナーであるブレンダン・ハンコック氏は TechCrunch に語っています。「必ずしも AI の利用量が少し減ることを意味するわけではありません。むしろ逆で、利用量は増えるはずです。」
Anthropic や OpenAI の株式を保有していない人々にとって、これは問題ではありません。AI は依然として普及し続けるでしょう。では、政府が公然と自由市場であるはずの国内で、アメリカ人が何かを購入することを禁止する正当な理由とは何なのでしょうか？
中国製モデルへの懸念にはいくつかの側面があります。一つは、中国政府から米国のデータを保護するという点です。米国はすでに、データ収集を懸念して現代の中国製電気自動車の輸入を禁止しています。しかし専門家の多くは、米国サーバー上で動作するオープンウェイトモデルが中国へデータを漏洩させる可能性は低いと考えています。もちろん、そのようなことが不可能だとは言い切れませんが。
もう一つの懸念は、これらのモデルが中華人民共和国に対して暗黙のバイアスを持っているのではないかという点です。ただし、それが例えばコーディングタスクにおいてどのような意味を持つのかは明確ではありません。
三つ目の一般的な懸念は、中国製モデルには米国政府が義務付けているガードレール（安全装置）が欠けているというものです。このプロセスは非公開で行われており、その目的は、最先端の米国の大規模言語モデル（LLM）が閉じたコンピューターシステムを悪用したり、兵器を作成するために使われたりしないようにすることです。しかし、これらのガードレールが逆に米国企業の脆弱性を高める可能性もあります。ベンチャーキャピタリストでありトランプ氏の顧問でもあるデヴィッド・サックス氏は、米国の最先端モデルが特定のタスクを引き受けない場合、企業が中国製の LLM に頼ってセキュリティの隙間を埋めている事例を紹介しています。
しかし、モデルを制限する最も重要な動機は、最先端の研究機関の活動が遅れると、中国が米国を抜いてしまうという恐れです。
ジョージタウン大学の安全保障・新技術センターで中国を専門とする研究フェローのサム・ブレスニック氏は、米軍作戦における AI の重要性が高まっていることは、フロンティア研究所への継続的な投資を支援する理由になると指摘します。しかし、彼によれば、この問題全体は非常にデリケートな側面を抱えています。
「なぜ米国政府が、自社の起源を理由に米国市場から締め出されている競合他社に対して、これらの企業を守るために重きを置く必要があるのか」とブレスニック氏は問います。
オープン AI を支持する人々は、フロンティア企業がイノベーションとクローズドモデルの間で誤った二項対立を作り出していると主張します。
「中国からこうしたオープンソースモデルが生まれることの最大のインパクトは、裏口から忍び込むことではなく、イノベーションの主導権を握られることにあります」とハンコック氏は TechCrunch に語りました。「結果として、実質的にモデルに対する労働力が拡大することになります。PyTorch が業界標準になったのはオープンソースだったからです。特定の企業だけでなくコミュニティ全体が貢献できるため、それは成長し続け、他のディープラーニングライブラリは比較にならないほど衰退しました。」
ハンコック氏をはじめとする支持者たちは、中国製の大規模言語モデル（LLM）が国際的な研究の中心地になることを懸念しています。すでに米国の大学院プログラムでは主にオープンウェイトの中国製モデルを基盤として構築されており、ハンコック氏によれば、学生が学ぶ論文の半数は中国の機関からのものであるといいます。一方、米国のフロンティア研究所は自社の成果を広範に共有することに次第に消極的になっています。
「オープンモデルを制限しても、AI が安全になるわけではありません」と語るのは、オープン AI コラボレーションのプラットフォームである Hugging Face の CEO、クレム・デラング氏です。「それは単にリスクを隠し、権力を少数の手に集中させるだけ。次世代のビルダーや研究者、学界、非営利団体、政府が、AI をより安全で、すべての人にとって有益なものにするための議論に参加することを難しくしてしまいます」。
ブレスニック氏は、中国を遅らせる本当の方法は、チップ輸出規制により焦点を絞ることだと指摘します。米国の AI リーダーシップを守るより良い方法は、中国への Nvidia H200 プロセッサの販売を止めることだといいます。「それこそが、多数の米国企業が利用したいと望むオープンソース技術を禁止するという棘のある議論から、我々を遠ざける可能性さえあります」と彼は述べています。
問題の一部は、AI の経済性に関する不確実性に起因しています。「オープンビジネスモデルも、プロプライエタリ（独占）ビジネスモデルも、どちらもまだ確立されていません。特にトレーニングコストが上昇し続ける中で、各 AI 企業がどうやってツールで収益を上げるかについて、頭を抱えているのが現状です」とブレスニック氏は指摘します。
米国で起きているのと同じ課題は、中国でも進行しています。中国の AI 企業も同様に、収益化と計算資源へのアクセスに苦戦しており、資本化の難しさがあるにもかかわらず、政府は政策上の理由からオープンなリリースを推進していると見られています。
Think Machines Lab や Nvidia など、米国の企業の中にはオープンモデルの公開をビジネスの柱にしようとする動きもあります。Hancock は、Nvidia のような企業が「チップを自社で製造できるほど資金力のある数社ではなく、数十社から数百社の企業が AI を構築している方が、はるかに成功するだろう」と指摘しています。これが同社がオープンモデルを集めた Nemotron へ投資した背景の一つです。
「米国にとって重要なのは、自国で非常に高性能かつコストの低いオープンモデルを持つことです」と Bresnick は語ります。「これは、フロンティア・ラボがこれまで取ってきたアプローチと真っ向から対立するものです。」
*Rebecca Bellan による追加取材*
*当記事内のリンクを通じてご購入いただいた場合、小規模な手数料が発生する可能性があります。ただし、これは当社の編集の独立性には一切影響しません。*
原文を表示
The impressive capabilities of Chinese lab Moonshot’s Kimi K3, the biggest open-weight large language model, has kicked off a debate that conflates two things: the economic possibilities of American AI giants and the future of LLMs as a technology.
OpenAI’s head of strategic futures, Dean W. Ball, went so far as to argue that the US government should find a pretext to create regulatory fear, uncertainty, and distrust around the new models, since open-weight models must necessarily deter capital spending by the frontier labs.
People freaked out, with tech luminaries like Yann LeCun and Martin Casado arguing that open software can accelerate innovation and coexist with proprietary projects. Ball soon retracted his claims that a regulatory crackdown was the White House’s “best strategy” and that open-weight models necessarily slow down advances in the technology.
However, Axios reports that the Trump administration is considering banning K3 and other advanced Chinese models at the behest of American frontier labs. Another report from Politico said that the Department of Commerce would not take that step anytime soon.
The benefit for major AI companies is clear: Open-weight models, running on independent infrastructure or inside major enterprises, offers cheaper intelligence than Anthropic or OpenAI’s class-leading models. If users increasingly spend more outside the closed labs, that means smaller return on their massive investments in model training.
That view extends far beyond OpenAI. “Strong, frontier-caliber open source models will place a squeeze on the margins and will bring down the prices of the frontier companies,” Braden Hancock, the co-founder of Snorkel AI and a research partner at the Laude Institute, told TechCrunch. “It will not necessarily mean that the amount of AI usage goes down a little bit. You know, obviously, quite the opposite.”
That’s not a problem for people without shares in Anthropic and OpenAI. AI will still proliferate. So what’s the justification for the government to block Americans from purchasing something in our ostensibly free markets?
Concerns over Chinese models come in several flavors. One is protecting US data from the Chinese government; the US banned the import of modern Chinese EVs over concerns about their data gathering. But experts tend to think that open-weight models run on US servers are unlikely to leak data back to China, although it’s not impossible that such a thing could be done.
Another is that the models may have implicit bias toward the PRC — but it’s not clear what that might mean for, say, coding tasks.
A third common worry is that Chinese models lack the guardrails that the US government has mandated (through an opaque process), which aim to prevent leading US LLMs from being used to exploit closed computer systems or create weapons. However, those same guardrails may make US companies more vulnerable: David Sacks, the venture capitalist and Trump adviser, has been sharing cases of US companies turning to Chinese LLMs to close security gaps when US frontier models refuse to do the tasks.
But the most significant motivation for restricting the models is that fear that China will be able to outpace the US if the frontier labs slow down.
Sam Bresnick, a China-focused research fellow at Georgetown’s Center for Security and Emerging Technology, says the growing importance of AI to the US military operations gives the US a reason to support continued investment in AI at the frontier labs. But the whole question, he says, is fraught.
“Why should the weight of the U.S. government be aimed at protecting these these companies from competitors that are being locked out from the U.S. market based on their origins?” Bresnick asks.
Advocates for open AI say that the frontier companies are creating a false binary between innovation and closed models.
“The bigger impact of having these open source models come from China is less that they’re sneaking in back doors, and more that they are owning the innovation,” Hancock told TechCrunch. “You end up with, effectively, an expanded workforce on your model. PyTorch became the industry standard because it was open source, and so the whole community could contribute to it rather than just one company, and it grew and grew, and all the rest of the deep learning libraries kind of died in comparison.”
Hancock and other advocates fear that Chinese LLMs will become the locus of international research. Already, US graduate programs mainly build on open-weight Chinese models, and Hancock says that half of the papers students study are coming from Chinese institutions, with American frontier labs increasingly reticent about sharing their work widely.
“Restricting open models wouldn’t make AI safer,” said Clem Delangue, the CEO of Hugging Face, a platform for open AI collaboration. “It would simply hide the risks, concentrate power in the hands of a few and make it harder for the next generation of builders, researchers, academia, non-profits, governments to participate in making AI safer and more beneficial for all.”
Bresnick says that the real way to slow China would be to focus more on chip export controls. A better way to preserve US AI leadership would be to stop selling Nvidia H200 processors to China. “That,” he says, “could potentially keep us out of this thorny debate about banning open source technologies that huge numbers of US companies want to use.”
Part of the problem is that uncertainty around AI economics. “The open business model, the proprietary business model — neither one is figured out. AI companies are struggling to figure out how to make money on their tools, especially as training costs need to go up and up,” Bresnick points out.
The same challenges that play out in the US are also playing out in China, where AI companies are also struggling to generate revenue and access compute power, and the government is seen as encouraging open releases for policy reasons despite the challenge in capitalizing on them.
Some US companies, including Thinking Machines Lab and Nvidia, are trying to make a business around releasing open models. Hancock points out that Nvidia would do better “if there are dozens or hundreds of companies building AI than rather than two or three that are well capitalized enough to make their own chips,” which is one reason behind its investment in Nemotron, a collection of open models.
“The main point is the U.S. would be very well served to have its own very capable, much less expensive open models,” Bresnick said. “It just clashes with the approach the frontier labs have taken.”
*With additional reporting from Rebecca Bellan.*
*When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.*
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み