オープンモデルコンソーシアム設立の必然性

最近、スタンフォード大学の教授であり、完全にオープンなモデルラボであるMarinプロジェクトのリーダーであるPercy Liang氏と会話しましたが、その中で「最終的には、業界全体で使われる基礎的なオープンモデルを資金提供するための企業コンソーシアムが形成されるだろう」という考えが明確になりました。これがいつ現れるかは不明ですが、NvidiaのNemotron（Coalition）は、単一の富裕企業内でこのアプローチに資金を提供し初期化を試みる試みです。しかし、コンソーシアムこそが、十分な資金を提供された最前線に近いオープンモデルへの唯一の長期的で安定した道筋です。

最近の数ヶ月間、オープンモデルラボでは多くの人事異動が見られ、QwenやAi2（私のコメント）での著名な人材の離脱がありました。エコシステムの追随者にとってこれはそれほど驚くべきことではありません——以前、MetaがLlamaへの焦点を移した際にも同様のことが起こりました。さらに、AIの最前線を追いかけるコストが増大するにつれて、こうした出来事はより頻繁に起こるでしょう。現在利用可能なモデルを持つ他の主要ラボには、Moonshot AI、MiniMax、Z.aiといった中国のスタートアップが含まれます——これらはすべて、トレーニングやR&Dのコスト増大に対応した継続的な成長を資金面で支える能力について不確実性が見られます。現在、最も強力なモデルをオープンにリリースすることは、現在意味のある収益（および利益）を生み出せるAI製品に焦点とリソースを投じるという選択肢と、明確な緊張関係にあります。

一部の、あるいは多くのモデルをオープンにリリースすることを中心に据えたビジネスモデルが出現していくことになりますが、これらは主に長尾の機能を実現する小規模なモデルであり、最先端のモデルではありません。このカテゴリに属し、多くの強力でファインチューニング可能なモデルをリリースする企業には、Arcee AI、Thinking Machines、OpenAI、Gemmaを提供するGoogleなどが含まれます。収益機会が豊富なビジネス環境において、最高のモデルをクローズドに保持することのコストと相対的な優位性はあまりにも高すぎます。要約すると、活発な小規模でカスタムモデルのニッチ市場を形成するのに適したモデルをリリースする企業の数は増え続ける一方で、完全にオープンで最先端に近いモデルをリリースする意志のある企業の数は減少し続けていきます。

これが、私がより多くの人々がこれらの小規模モデルが最高のクローズドエージェントとどのように補完し得るか、ファインチューナビリティの科学などについてより多くの研究を行うよう強く推進する核心的な論理です。以下の投稿をご覧ください。これは、オープン最先端がクローズドと歩調を合わせているかどうかにかかわらず、持続可能なオープンモデルエコシステムを構築することに関するものです。

この均衡がより明確になるには数年を要し、よりオープンなモデルファミリーの台頭と衰退というレンズを通して見られるだろう。今年については、NvidiaのNemotronが新たな高みへ達し、Reflection AIが強力で大規模なMoE（Mixture of Experts）を用いていくつかの中国製モデルに挑戦し、Metaが新しいオープンウェイトモデルをリリースする可能性がありそうだ。戦略変更への真の圧力は、資本環境がリソースに対する非効率な支出（例えば、自社モデルを持つことで競争優位性を手放すこと）を罰したときにのみ訪れる。この圧力は、これらのモデルを訓練する中国のスタートアップに最も早く襲いかかるだろう。

Moonshot AI、MiniMax、Zhipu AIのすべてが、現在の戦略を維持し続ける場合、今後数年間で財政的な課題を示すことになる。さらに、それらのモデルは汎用性において最高のオープンモデルからますます遅れをとることになる。これは、オープンモデルがAIの最前線と補完関係にある収益性の高い領域へ進化するための必然的な圧力である。

中期的にオープンエコシステムを支援し、コアのGPUビジネスを支える立場にあるNvidiaは、そのオープンモデルへの取り組みを後退させるよう多くの圧力に直面する可能性がある。それは以下のような状況になり得る：

Nemotronでの成功が大きすぎるため、最大の顧客にとって競合しすぎていることに気づく。

コアビジネスでの競争に敗れ、この取り組みを資金調達するために必要なフリーキャッシュフローの緩衝材を失う（例えば、2031年の時点でOpenAI、Anthropic、Google、その他のフロンティアラボが莫大な価値を持ち、独自のチップを構築するようになる場合）。1

初期の目標を超えて成功を収め、ASI（人工汎用知能）を独自に構築するためのチップを保持する。そのモデルはクローズドウェイトとして運用される。

オープンモデルに対する新たな資金調達メカニズムへの圧力は、最先端モデルの能力における継続的かつ実質的な進歩という前提に基づいている。自己改善やトレーニングパイプラインの全段階のスケーリングなどのメカニズムが進行中である。この能力の進歩は、モデルを無償提供することではなく、製品として販売することで得られる潜在的な利益を増大させるのみである。真に最先端規模のモデルを開発する競争から、非営利団体を遠ざけ始めている投資規模はすでに存在している。2 資本主義は、技術を慈善として寄付するのではなく、企業の冷酷さを作り出し、収益性の高い見込みを追跡するように設計されている。

経済環境の変化により、企業が最も強力なモデルをオープンに公開することから離れていくにつれ、これらのモデルに依存する企業は、将来のモデルアクセスを確保するための出口を探し始めるだろう。これは、ワークフローにおいてオープンウェイトモデルに依存する企業グループが増大することで、さらに複雑になる。

これらの点は、モデルトレーニングのコストが上昇しているという事実に戻り、モデルへの関心が高まる一方で、多くのプレイヤーにとってそれらを取得する能力は低下する。機関がオープンモデルの存在を保証することに対する需要を増幅させる可能性のあるXファクターが存在する。例えば、Claude Mythosのようなベストな最先端モデルがAPI経由で利用できない場合（一般公開されない場合）などだ。

今すぐ購読

モデルの学習に関連するコストが数百万ドルから数十億ドルへとシフトしている現在、それを負担できる企業は限られています。多くの企業が、最先端モデルの学習コストの1/10を支払うこと、あるいはコンソーシアムが機能すればその1/50を支払うことに興味を示すでしょう。企業にとっての upside（利益）は、開発を誘導する何らかのメカニズム（例えばモデルサイズなど）や、そのモデル向けに社内およびオープンソースのツールリングを開発するための早期アクセスを得られることです。

私の性質上、デフォルトではこのアイデアは失敗すると断言します。なぜなら、モデルの学習は本質的に複雑で高い集中力を要する取り組みであり、あらゆる可能性のあるユーザーに対応しようとするのではなく、スタックのすべての部分を統合し、自らのビジョンとニーズに特化して注力することが必要だからです。しかし最終的に、オープンなインテリジェンスへの必要性——そしてそれを構築するための経済的圧力——が、モデルコンソーシアムの必然性を生み出すことになります。

1 私の推計では、Anthropic、OpenAI、Googleが最先端のインテリジェンスを所有することで、2030年代において世界で最も価値のある企業となる可能性に意味のある確率があります。

真にオープンであることは、安全性研究と長期的なイノベーションの見通しであり、AIリスクの物語ともAI楽観主義の物語にも適合する。私たちはその両方のためにそれを必要としている。機械的解釈（Mechanical Interpretability）はOlmoモデルの最も大きな利用者の一つである。もしトランスフォーマー（Transformer）の次に来るものを見つけられなければ、AIモデルに十分な利益が生じないかもしれない。（編集注：これは半ば未完成な考えとして公開していたもので、完全にオープンなモデルがエコシステム内でどのように異なるかについての内容である）これらすべては、本記事の要点とはほぼ無関係である。