Open models in perpetual catch-up｜オープンモデルは常に追従状態にある

4〜6 ヶ月ごとに、オープンウェイトモデルの新たなバージョンが登場し、「オープンモデルはこれまでになくクローズドモデルやフロンティアモデルに近づいている」という議論が沸騰します。直近では Z.ai の GLM 5 モデルがその例で、中国企業から出された最新かつ最先端のオープンウェイトモデルです。過去 12 ヶ月におけるこの物語の新たな側面は、議論の対象となるすべてのオープンモデルが中国由来であるという点です。以前であれば、これらはほぼ例外なく Meta の Llamas でした。こうした議論の瞬間は私にとって常に内省を促すものですが、オープンモデル最大の支持者の一人として、私はいつもそのナラティブ（物語）が過大評価されていると感じています。つまり、絶対的な性能においてオープンモデルがクローズドモデルに追いつくペースが意味ある形で加速しているわけではありません。約 6 ヶ月というギャップは安定して維持されています。 同時に、オープンモデルがさらに飛躍的に向上し続ける中で何が起きるのかについても議論する価値があります。オープンモデルは、私やエコシステムを追跡する多くの他の専門家たちが予想していたよりも、クローズドモデルの最上位にずっと密着した状態で追走しています。机上の計算では、Anthropic、OpenAI、Google の 3 つの米国のラボが、研究におけるトレーニングのために圧倒的に多くのリソースを有しています。この世界観において、多くの人はオープンとクローズドの最上位モデル間のギャップがより明白に拡大すると予想したはずです。純粋な研究用計算資源（compute）、データ購入、ユーザーデータなどは、相対的に僅かなマージンしか生み出していません。もしかすると、計算リソースから性能へのスケーリング則における対数線形関係（log-linear relationship）が作用しているのでしょうか？ 今日のテーマは、オープンモデルとクローズドモデルの時間経過に伴う ArtificialAnalysis Intelligence Index です。この投稿の目的は、このインデックスが持つ多くの限界や他の指標の限界を細かく指摘することではなく、このグラフが何を表していないか、そしてオープンウェイトが年々追いつき続けることが AI 界にどのような意味を持つかについて考察することにあります。 ![image](https://substackcdn.com/image/fetch/$s_!oyTU!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc2cad176-f718-4046-8486-161c1111435e_2680x1366.png) このベンチマークは、モデルの「品質」を評価する 1 つのスコアに多数の要素を混合しています。これにより、誤差範囲、物語、そして弱点があまりにも多く圧縮され、単一の指標に集約されてしまいます。これらの指標は常に政策決定の参考資料として用いられ、より多くの人々が AI の高レベルなトレンドを理解するのを助けるために使われますが、AI 進歩の最前線を捉える点においては不十分です。 AI の最前線は、公的なベンチマークで捉えることがこれまで以上に困難になっています。ベンチマークを構築するには現在極めて高額であり、最新モデルやそれらが得意とする・不得意とする分野に関する高度な知識が要求されます。SWE-Bench がほぼ 3/4 を Django で構成されていること、あるいは Terminal Bench 2 がクラウドソーシングによって作成されややノイズが多いといったよく知られた問題は、ここでは決して捉えられません。 米国における最先端のラボは、実際に重要となる能力をより正確に把握しており、公開ベンチマークは過剰適合しやすい傾向があることが、これまで何度も示されてきました。Qwen の直近のフラッグシップ v3.5 モデルも再び、ベンチマックス化に関する多数の不満に悩まされています（一部の出典外分布における奇妙な挙動は実装エラーの可能性が議論されますが、アリババ自身の API においてもです）。 これらの要因すべてを踏まえ、私は Ai2 において最新の Olmo モデルの価値を伝える際、「評価スイート全体での平均化を行わない」ことを提唱するようになりました（私の最近の評価に関する講演をご覧ください）。最良のモデル同士は確かに非常に近い位置にありますが、平均値を用いると、不誠実な読者に対して単一の評価が劇的に異なる事実を完全に隠してしまう可能性があります。 総合的に判断して、現在の Artificial Analysis Intelligence Index は真の最先端を代表していないと私は確信しており、オープンソースモデルがクローズドモデルにこれまで以上に近づいているという見方は誤りです（はい、改善のための明白な方法を私が提示しているわけではありませんが）。私が予測する限り、オープンソースモデルがクローズドモデルに引き続き追従し続ける唯一の領域はコーディングであり、公開された GitHub データと巧妙な検証可能な報酬によって、多大な性能向上の可能性が示されています。 エコシステム全体のバランスは、多くの人が私自身のようにオープンモデルの改善にもかかわらず依然として有料で利用している最も知的なモデルの価値と、特定のタスクが許可されたライセンスを持つオープンモデルによって達成可能になった際に生じる信じられないほどのコスト削減の間にある。最高のクローズドモデルは、さらに価値の高いタスクを次々と解放し続け、オープンモデルを永続的な追走状態に置いている。業界は驚異的なペースで自らを再発明し続けている。 Share オープンモデルにおける他の7つの主要なトレンドへ。 1. オープンモデルの最前線は過酷な競争である 2025年は、非常に印象的なベンチマークスコアを持つオープンウェイトモデルの一種「カンブリア爆発」を目撃した。この市場はクローズドでAPIベースのモデル（実質的なプロバイダーが4社のみ）よりもはるかに人口密度が高く、そのためオープンモデルの採用は過酷に集中している。成功する最も優れたモデルだけが実際に採用されることになる。これは今後数ヶ月から数年かけて、エコシステム全体における多くの中小規模のモデルビルダーを特定のニッチへ移行するか、あるいは異なるビジネスプランへとシフトさせることにつながるだろう。 モデルビルダーとして、私はこの状況を非常に身近に感じている。モデルは比較的ステッキー（少なくとも一般的な見通しよりもはるかに粘り強い）であるにもかかわらず——パフォーマンスが十分であれば一度設定された多くのオープンモデルは決して置き換えられない——エコシステムが競争激化に伴う中で、ほとんどのモデルが一度でも試される可能性は月を追って低下している。 今年初めにオープンモデルの現状について投稿した際、Qwen が最大規模のモデルにおける採用指標において支配されていることを知り、驚きました。この状況は依然として私を驚かせています！ ![image](https://substackcdn.com/image/fetch/$s_!L-lz!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F26a16175-d9e6-4ca9-ae31-46c84f25d693_1872x1156.png) 要するに、モデルのパフォーマンスの最前線における競争は、現在の人気ベンチマーク、特に大規模な MoE モデルにおいて最も集中しています。これは、オープンモデルが実際のビジネス価値全体で勝利できる他のケースへと、探求とイノベーションを駆動させることになります。 2. 専門的・小規模・高速・低コストのオープンモデルが不足している 企業向けの専門モデルには、大きな未開拓市場が存在します。特にツール関連において（おそらく GPT OSS の成功もこれに関連しているでしょう）。一般的に考えられるのは、価値ある反復タスクで卓越した重み、あるいはその作成方法を公開することです。エージェントがより注目されるようになる中で、これらのモデルは、大規模な最前線モデルのコストのわずかな割合で、反復的なエージェントサブタスクを処理できなければなりません。同時に、高速かつプライバシーが保護され、直接所有できる必要があります。例えば、1 つのオープンウェイトモデルに、各スキルごとに複数の PEFT アダプター（パラメータ効率的微調整アダプター）をデプロイし、高い利用率と拡張性を可能にするようなケースが考えられます。 私は、エージェントを構築する複数の企業から、このリクエストを具体的に聞いています。Qwen モデルは小規模サイズにおいて素晴らしい能力を発揮しますが、オープンモデルのパフォーマンスは非常にばらつきが大きく、これを軌道に乗せるには複数の選択肢が必要となるでしょう。また、学術ベンチマークでカバーされていない特定のドメインやタスクセットへのモデル適応などにおいては、フロンティア品質のポストトレーニングレシピが全般的に不足している点も制限要因となっています。この観点から言えば、現在の数学や生物学などのドメイン特化型モデルの多くは、実は十分に専門化されていません。 これは、オープンモデルエコシステムにおいて私が繰り返し目にする多くの課題の一つです。オープンモデルエコシステムが外部からは誤解されやすく、内部でも混乱している最大の理由は、オープンモデルを把握し、世界に広めるまでに長い時間がかかるからです。 3. オープンモデルの理解は、著しく過小評価されている オープンモデルの技術的・地政学的な仕組みを完全に理解するために、専任の研究機関がもっと存在すべきです。ワシントン DC には、何が起きているかを一般市民に伝え、サンフランシスコのハッカソンや新設された研究ラボに埋もれた情報を解き明かすためのシンクタンクが複数あってもよいでしょう。Interconnects と The ATOM Project では、私はこの分野の最前線で活動しており、そこではオープンモデルがどのように利用されているかに関する新たな生データを探り出す作業が頻繁に行われます。こうしたデータは常に不揃いで不完全であり、時には完全に混乱を招くこともあります。数十年で最も重要な技術であるグローバルな拡散の方向性を追跡するためには、オープンモデルを理解することが不可欠ですが、それに取り組む公的な活動はほとんどないという感覚があります。 OpenRouter によるオープンモデル利用に関する新たなデータをご紹介します。これは私たちがこれまで見てきた採用動向とほぼ一致しています。HuggingFace のダウンロード数は明らかにノイズが多いものの、時間経過に伴う他のあらゆる採用指標はこれと強く相関しており、特に米国対中国の課題においてその傾向が顕著です。 ![image](https://substackcdn.com/image/fetch/$s_!P0Nw!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd2b13721-7a67-46c9-b83f-1ea16f4cff7c_1806x1218.jpeg) 余談ですが、オープンエコシステムの監視に関するこの仕事があなたにとって魅力的に思われる場合は、ご連絡いただくかコメントを残してください。この分野での影響力をどう拡大するかについて検討中です！ Interconnects AI は読者支援型の出版物です。購読をご検討ください。 4. 各国は、主権型 AI における最初の足がかりを得る唯一の手段としてオープンモデルに頼るようになる（そして主権型 AI は本物である） 主権型 AI は、最先端 AI の議論や米中間の軍拡競争の背景において、主にゆっくりと進行してきました。しかし、AI が私たちの技術的現実により深く組み込まれるにつれて、その普及はさらに進むでしょう。すべての富裕国は、国家安全保障上の必要性であると同時に、影響力を行使する方向性として AI を捉えるようになります。この取り組みを実効あるものとし、地域の AI コミュニティと経済がそれとシームレスに統合されるためには、オープンモデルが唯一の手段となる可能性が高いです。 5. オープンソースが最先端を制する未来もまだ可能ではあるが、以前よりもさらに実現の可能性は低くなっているように見える 最も可能性が高い（圧倒的に）シナリオは、現状維持であり、最良のオープンモデルが最良のクローズドモデルに比べて 6〜9 ヶ月遅れ続けることです。この永続的な追いつき現象の大部分は、おそらく最良のオープンモデル開発者が、現在利用可能な最も強力なクローズド API モデルを絶えず蒸留（distillation）していることによるものですが、強化学習（RL）の台頭に伴い、この方向性はあまり関連性が薄れているように思われます。現在のポストトレーニングは、モデルが最も賢明な教師から直接学ぶというよりも、むしろ経験を通じて学習するプロセスに焦点を当てています。オープンモデルが勝利するための道筋は、根本的なイノベーションにあります。具体的には、エキスパートモデルの統合・回転・共有が可能になること、あるいはトレーニングコストの劇的な（100 倍以上の）削減などが挙げられます。これが起こる前に予測することは、もし私が実際にその仕組みを構築してしまえばよい話であるため、忠実な科学というよりは SF 小説に近いものです。 6. 中国のオープンモデル「エコシステム」は、誰が勝利するかに関する発見が最も期待される場所となっている 中国には、他社のイノベーションの上にモデルを構築するラボが多数存在します。この意図的なアイデアの共有は、シリコンバレーの「見返り」の文化と比較して莫大な利益をもたらします。そこでは、人々は一日の終わりに帰宅し、友人たちと最新の技術的秘訣について話し合うことが当然視されています。中国企業が特に実践しているような共有形態、とりわけそれらの多くが国の科学・学術機関とより密接なつながりを持っていることを考慮すると、これは新しい基準をはるかに迅速に収束させ、ブレークスルーを共有させるための仕組みです。これは「オープンモデル」が勝利する可能性のあるイノベーションのような未知の要因ですが、中国が独自の潜在的成功条件を作り出し、米国には対抗策がないという点で重要です。エコシステムの運用方法におけるこの相違は長期的には何もないことになり得ますが、それが軌道に乗った場合、米国の AI 企業はそれに対抗して大きなことはできません。 7. オープンモデルが科学と普及を支配する — フロンティアの AI よりも緩やかなトレンド 日常生活や世界の権力構造を変革するという点での AI の最大の影響力は、明らかに最も強力かつ知的なモデルから生じるでしょう。したがって、オープンモデルのうちこのフロンティアに最も近い位置にあるものが注目を集めるのは明白です — もし何らかの形でオープンウェイトモデルが「世界で最も強力なモデル」という称号を主張することになれば、それは極めて大きな経済的帰結をもたらすことになります。 現実世界において、最も発生する可能性が高いシナリオでは、オープンモデルの最大の影響力は、非常にゆっくりと変化する 2 つのセクターに現れるでしょう：1) 基礎研究・イノベーション、および 2) グローバルな技術拡散です。私は個人的に、オープンモデルに対する私の興奮が少し誤った方向を向いていることに気づきました。これらのモデルを通じて AI の最前線を理解しようとしていますが、技術がいかにしてゆっくりと世界最大の企業を変容させていくかという、より大きな物語を見落としています。 Llama がオープンな SOTA（State of the Art）モデルだった頃を考えてみてください。当時、米国と中国の誰もが Llama に関する研究を行い、それがその後のモデルに影響を与えました。Meta から具体的なプロセスが直接発表されなかったとしてもです。現在では、このデフォルトは Qwen に置き換わっています。Qwen は中国エコシステムのアンカーとなっています。言語モデルの研究は極めて急速に進んでおり、これにより研究所で行われた基礎的な改善が、通常よりもはるかに速く技術の最前線に反映される可能性があります。 同時に、最も富裕な数カ国以外の地域で AI を利用する際のグローバルなデフォルトは、ChatGPT などの無料アプリケーションか、オープンウェイトモデルを使用することになります。ChatGPT は多くのビジネスユースケースには適合しないため、オープンウェイトモデルは私たちがほとんど視認できないイノベーションの熔鉱炉となっています。数十年というより長いタイムラインに目を向けると、オープンモデルのグローバルな普及は、AI において追うべき主要なトレンドのように思われます。 結論 続きを読む

オープンモデルは常に追従状態にある

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト