How open model ecosystems compound｜オープンモデル生態系がもたらす複合効果について

注：有料購読者の方は、Interconnects の設定をクリックして説明を管理することで、ポッドキャストアプリの有料ポストの音声読み上げを利用できます。お聞きいただきありがとうございます！ 最先端モデルを構築するための計算資源の大部分は、最終的な大規模モデルをエンドツーエンドで訓練する計算資源ではなく、研究開発（R&D）コストから生じます。中国のような生態系では主要プレイヤーがすべてオープンであるため、これはコスト構造において潜在的な有意義な優位性をもたらし、ラボが外部の観察者が予想するよりも長く構築を継続できる可能性があります。 最近の研究として、Olmo 3 の開発を文書化した Ai2 の研究と、さまざまな最先端ラボからのコストに関する公開ドキュメントを調査した Epoch AI の研究があり、最終モデルではなく研究開発に費やされた計算資源の見積もりは約 80%（有意な誤差範囲付き）であると示しています。 ![image](https://substackcdn.com/image/fetch/$s_!VBXD!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0e980106-980c-4092-bbf1-f472323b8da0_1026x1283.png) 研究開発の大部分が計算リソースを消費する世界において、中国のシステムは、同業者から素早く学習し、研究用計算リソースやインフラへの重複投資を防ぐように設計されています。完璧とは程遠いですが、大規模言語モデル（LLM）を構築するためのオープンソースソフトウェア（OSS）エコシステムに最も近いアナログと言えます。AI に関する公的な議論では常に、モデルが非常に高価であり、それが計算リソースそのものが成果物専用に割り当てられているかのように受動的な読者に思わせる点に焦点が当てられてきました。これは DeepSeek V3 の事例でも確認された通りです。 この状況は、オープンソース AI の核心的な課題を再考させるものでした。つまり、オープンソースソフトウェア（OSS）のユーザーが Linus の法則「十分な数の目があれば、すべてのバグは浅い」というフィードバックループを通じて創造自体に貢献し、巨大な価値を生み出すような仕組みが、オープンソース AI には欠けているという点です。この OSS 特有の自己強化構造こそが、大規模展開におけるコストを可能な限り最小化する結果をもたらします。すべてのユーザーがバグ修正や機能追加のコストを共有するからです。 オープンソース AI の分野では、コストのほとんどがモデル開発者に負担されます。同時に、モデルを公開することでコスト削減につながる大きなメリットもありますが、それらは主に創作者自身にとっての将来の開発・展開コストを減らすだけであり、何よりも重要なのは、エコシステム全体にとって広くコスト削減に寄与する点です。 Open AI のモデル、ツール、インフラストラクチャ、およびその間のすべては、開発におけるコスト削減をもたらしますが、これは「アップル・トゥ・アップル」のソリューションや製品におけるプラグ・アンド・プレイ型のコスト削減ではありません。もし誰かが最小限の反復や内部開発のみで市販の AI を利用しようとするなら、オープンモデルを利用することはほぼ常に高価になります。クローズドで統合され、ホスティングされたソリューションは、一般的な利用における規模の経済によって低価格帯を実現しています。 オープンソースエコシステムは、継続的なパフォーマンスにおいて OSS（オープンソースソフトウェア）スタイルの財務的およびパフォーマンス上の利益を模倣しようと試みるのみです。中国の研究機関は、極めて詳細な技術レポートと研究機関間での意図的な知識共有を通じて、同僚企業に対して必ずしも同等のリソースを投資する必要がないアイデアのリスクを軽減しています。 これが機能するためには、AI企業がオープンソースツールをフォークして内部専用バージョンへと進化させるという現在の慣行は、おそらく衰退する必要があるでしょう。オープンソース AI企業が、人々が最初に使用する完全なオープンツールのアクセシビリティが後れをとる中で、企業契約や内部ツールによるパフォーマンス向上を売り点とするのはあまりにも一般的な設定です。 大規模な MoE モデルの RL 学習（強化学習）における真にオープンなレシピは存在しません。Thinking Machine の Tinker や Prime Intellect の Lab のように、オープンサポートを提供しつつ部分的にクローズドなツールが、オープンエコシステムのメリットを維持できるほど十分にオープンであるかどうかは不明です。 スタックがよりオープンであればあるほど、また共有される情報が多ければ多いほど、将来の反復においてコストは削減されます。 企業がオープンソースツールをフォークして内部バージョンを作成するのと同じ推論は、なぜ誰もが構築できる共有された単一の基盤モデルが存在しないのかという理由にも当てはまります。今日最高のモデルを構築することは、ハードウェア、データ、インフラストラクチャを統合し、パフォーマンスの最前線に追いつくためにこれらすべてを比較的高い速度で進化させる芸術となります。LLM が数年にわたり性能向上を着実に続ける兆候がすべて示されていることを考えると、この均衡が近いうちに変化すると期待するのは unlikely です。まさにこれが、私がオープンモデルコンソーシアムの不可欠な必要性について投稿を書いた理由です – この共有リソースははるかに効率的であり、オープンモデルで将来の最前線規模で競争するための唯一の財政的に実行可能な方法となる可能性があります。 もちろん、クローズドラボもオープンフロンティアモデル企業の調査を把握しており、そこから恩恵を受けることができますが、クローズドラボが開発ツリー上で数ヶ月先行しているという前提の下では、共有された洞察から自然に得られる利益は相対的に少なくなります。オープンソースコミュニティが強力であればあるほど、各企業がパフォーマンスのパレート曲線上で互いに近接して存在するコスト上のインセンティブが高まります。 開発コストの違い、あるいはプロセス指向の技術と、すべてのラボが直接構築する共有基盤との違いに対するこの認識は、私の最近の中国訪問要約へのフィードバックで受けた質問に端を発しています。その質問とは、「中国のエコシステムがコスト削減のために単一のベースモデルに収束する可能性はあるか？」というものでした。この質問への続投として、中国のオープンウェイト企業の中で、オープンソースを戦略的に意味のある方法で使用しているところがあるかどうかについて問われました。ここではさらに多くの有用な質問を行う余地があり、特にエコシステムの異なる運用パターンを理解しようとする際にはなおさらです。 中国のファウンデーションモデル開発モデル 私は、ビル・ガーリーが『Breakneck』の著者であるダン・ワンと、『Apple in China』の著者であるパトリック・マギー（両書とも強く推奨します - 必読です）とのインタビューを非常に考えさせられるものと感じました。これは、米国と中国の技術文化における最大の違いについて深く考察させるものです。 私は現在、オープンソース AI の弧においてこれらの違いに多く触れる機会があります。過去一年で中国の AI エコシステムから湧き上がった、西洋の聴衆や思考に影響を与えたいという深い渇望が存在します。これは明らかに、SAIL グループが最近の訪問でそのようなアクセスを得た理由の強力な前例となりました - AI エコシステムの誰かが多くの企業のシニアリーダーシップと話すことは、当然のことではありません。 続きを読む

オープンモデル生態系がもたらす複合効果について

背景や根拠まで確認しますか？

調べる

選ぶ

サイト