なぜNvidiaはオープンモデルを構築するのか：ブライアン・カタンザロに聞く

2025 年、私にとっての大きなトピックの一つは、Nvidia がオープンモデルプログラムを大幅に強化したことです。より多くのリリース、高品質なモデルの提供、データセットを公開する数少ない企業の仲間入りを果たすなどです。このインタビューでは、500 人以上の技術スタッフを率いる 3 人の VP の一人である Bryan Catanzaro と座談し、以下の点について議論しました。

2025 年 12 月にリリースされた非常に印象的な「Nemotron 3 Nano」モデルと、まもなく登場する大規模な Super および Ultra バリアント、

なぜ Nvidia のビジネスはオープンモデルを構築することによって明確に恩恵を受けるのか、

より優れたモデルを追求するためにどのように Nemotron チームの文化が築かれたか、

Megatron-LM とオープンソーストレーニングソフトウェアの現状、

キャリアに関する振り返りと AI 研究への道筋、

その他のトピック。

このインタビューから私が得た最大の教訓は、Nvidia が自社で構築したオープン言語モデルから価値を直接獲得・キャプチャする企業としての独自の役割を理解している点です。これにより、彼らには独自かつ持続可能な優位性が生まれています。

Bryan は、AI 開発のこの初期段階におけるオープンモデルについて、非常に美しい比喩を持っています。それは、AI の将来のアプリケーションのための「ポテンシャルエネルギー」を創出するプロセスであるという考え方です。

ぜひお楽しみください！

共有

ゲスト：NVIDIA 応用深層学習研究 VP（Applied Deep Learning Research: ADLR）ブライアン・カタンザロ。X: @ctnzr、LinkedIn、Google Scholar。

Apple Podcasts、Spotify、YouTube、およびポッドキャストを入手できるあらゆるプラットフォームで聴取可能です。他の Interconnects インタビューについては、こちらをご覧ください。

Nemotron モデルタイムライン

2019–2022 — 基盤となる研究

Megatron-LM（最近再び非常に人気となったモデル並列化フレームワーク；代替案：DeepSpeed、PyTorch FSDP）。

NeMo Framework（NVIDIA のエンドツーエンド LLM スタック：トレーニングレシピ、データパイプライン、評価、デプロイメント）。

2023 年 11 月 — Nemotron-3 8B: エンタープライズ対応の NeMo モデル。モデル：ベース、チャット SFT、チャット RLHF、コレクション。ブログ。

2024 年 2 月 — Nemotron-4 15B: 8T トークンでトレーニングされた多言語 LLM。論文。

2024 年 6 月 — Nemotron-4 340B: 合成データパイプラインを詳細に記述した主要なオープンリリース。論文、ブログ。モデル：インストラクション、リワード。

2024 年 7 月〜9 月 — Minitron / Nemotron-Mini: 15B から剪定された彼らの最初の剪定済みモデル。Minitron-4B（ベースモデル）、Nemotron-Mini-4B-Instruct。論文、コード。

2024 年 10 月 — Llama-3.1-Nemotron-70B: Llama 3.1 70B に対する強力なポストトレーニング。モデル、コレクション。主要データセット — HelpSteer2、論文。

2025 年 3 月〜6 月 — Nemotron-H: 推論効率のための最初のハイブリッド Mamba-Transformer モデル。論文、研究ページ、ブログ。モデル：8B、47B、4B-128K。

2025 年 5 月 — Llama-Nemotron: Llama（依然として！）の上に構築された効率的な推論モデル。論文。

2025 年 9 月 — Nemotron Nano 2: 推論のための 9B ハイブリッド、パフォーマンスの継続的な向上中。20T トークンでトレーニングされた 12B ベース（FP8 トレーニング）をポストトレーニング用に 9B に剪定。レポート、V2 コレクション。

2025 年 11 月 — Nemotron Nano V2 VL: 12B の VLM。レポート。

2025 年 12 月 — Nemotron 3：Nano/Super/Ultra ファミリー、ハイブリッド MoE（Mixture of Experts）、最大 100 万トークンのコンテキスト。Super/Ultra は 2026 年上半期にリリース予定。

Nano: 25T トークンで学習済み、総パラメータ数 316 億 / アクティブパラメータ約 32 億。レシピ、コード、データセットを公開。論文：ホワイトペーパー、技術報告書。モデル：Nano-30B-BF16、Base、FP8。

Nemotron の最近のデータセット

NVIDIA は 2025 年より大幅に多くのデータを公開し始めました。これには事前学習用データセットも含まれており、大規模な高品質な事前学習データを公開する数少ない組織の一つとなっています（ただし、無視できない法的リスクを伴います）。

事前学習データ

収集元 — CC-v2, CC-v2.1, CC-Code-v1, Code-v2, Specialized-v1, CC-Math-v1。数学論文：arXiv:2508.15096。

事後学習データ

コアとなる事後学習ダンプ（SFT/RL の組み合わせ）:

Llama Nemotron 事後学習 v1.1 (2025 年 4 月)

Nemotron 事後学習 v1 (2025 年 7 月)

Nemotron 事後学習 v2 (2025 年 8 月)

2025 年の推論/コード SFT コーパス:

OpenMathReasoning (2025 年 4 月)

OpenCodeReasoning (2025 年 4 月)、OpenCodeReasoning-2 (2025 年 5 月)

AceReason-1.1-SFT (2025 年 6 月)

Nemotron-Math-HumanReasoning (2025 年 6 月)、Nemotron-PrismMath (2025 年 4 月)

NeMo Gym RLVR データセット：コレクション

Nemotron v3 事後学習 (2025 年 12 月)：コレクション

HelpSteer（人間フィードバック/選好）:

HelpSteer (2023 年 11 月)

HelpSteer2 (2024 年 6 月)

HelpSteer3 (2025 年 3 月)

その他、ここではリンクされていないものも多数あります。

チャプター

00:00:00 イントロダクションと NVIDIA がオープンモデルを公開する理由

00:05:17 Nemotron の二つの役割：システム R&D とエコシステムの支援

00:15:23 モデルだけでなくデータセットも公開する

00:22:25 「支配」ではなく「招待」で 500 人以上を組織する

0:37:29 Nemotron のスケーリングと Megatron の進化

00:48:26 キャリアの振り返り：SVM から DLSS へ

00:54:12 バイトン・シリコンバレー AI ラボからの教訓

00:57:25 Jensen Huang と共に応用研究ラボを構築する

01:00:44 研究者へのアドバイスと 2026 年の予測

トランスクリプト

00:00:06 ネイサン・ランバート：はい、バイアン。Nemotron について話せるのをとても楽しみにしています。私は、誰もが話題にする中国における明白な出来事以外でも、オープンモデルの 25 年における最も大きな進化の物語の一つだと考えています。多くの注目を集めていますので、ぜひお越しいただきありがとうございます。

00:00:22 バイアン・カタンザロ：ああ、いいえ、光栄です。

00:00:23 ネイサン・ランバート：では、質問を始めたいと思います。これらの質問の一部は、正直に言って、ファンとしての私の好奇心を満たすものです。例えば、なぜ NVIDIA は基本的なレベルで Nemotron をオープンモデルとしてリリースするのでしょうか？

00:00:39 ブライアン・カタンザロ：はい、AI が成長するたびに NVIDIA の市場拡大の機会があることは私たちが知っていますし、AI を前進させようとする多くの開発者や研究者にとって、オープンな AI モデルへのアクセスが非常に重要であることも承知しています。業界内の他の企業による、オープンに開発された AI を推進する取り組みには、私たちも大変興奮していました。もちろん、Meta は Llama で素晴らしい成果を上げましたし、OpenAI も GPT OSS をリリースしており、これも非常に刺激的な出来事でした。また、アレン研究所は当然のことながら、研究、特にオープンリサーチの先頭に立っており、Marin プロジェクトや OpenAthena といった取り組みも牽引しています。私たちが常に発展を期待しているようなプロジェクトがいくつもあるのです。

そして、AI が今後どこへ向かうかを考える際、NVIDIA は AI をインフラストラクチャの一形態と信じています。適用された際には非常に有用な技術ですが、それ単体では基盤でありインフラストラクチャそのものなのです。人々が異なる方法で何かを構築できるようにするためには、インフラストラクチャに対してオープンであることが、技術がより良く機能するために重要だと考えています。インターネットが世界経済のあらゆる側面を変革した方法を思い浮かべてみてください。それは非常に深い影響を与えたものであり、私たちはまだ終わっていません。

例えば、小売業がインターネットを利用する方法と、医療業界がインターネットを利用する方法は異なります。そして、経済の異なるセクターが、それぞれのビジネスの心臓部にインターネットを組み込む方法を独自のやり方で見つけられたという事実は、インターネットが人々がさまざまな試みを行えるオープンな技術の上に構築されていたからこそ可能でした。私たちは、AI も同様に進化していくと考えています。世界のあらゆる経済セクターに属する組織が、AI に対して新しい、驚くべき、楽しい、そして重要な用途を見出し、カスタマイズして自らの業務に直接組み込む能力を持っていれば、それらをより効果的に実現できるでしょう。

なお、これは、多くの主要な研究所から提供されている API のように、極めて卓越した能力を持つ「クローズド」なアプローチを貶める意図ではありません。それらについても私たちは非常に興奮しています。

NVIDIA はあらゆる形態の AI を支援することを好んでいますが、現在、AI を展開するためのクローズドなアプローチは概ね順調に進んでいる一方で、オープンに開発された AI エコシステムには、さらに多くのエネルギーが必要だと感じています。そのため、私たちは過去 1 年間、この分野により多くの努力を注いできました。

00:03:42 ネイサン・ランバート：はい。この点については詳しく掘り下げていきます。実際に私も確認しているからです。私たちは今、1 月 26 日に録音を行っており、これはこれらの Nemotron 3 モデルの展開真っ只中です。ナノ版はすでに秋にリリースされており、おそらく組織が成し遂げた最も大きな成果の一つだったでしょう。そして皆、スーパーやウルトラ大規模なバリアントを熱心に待っています。

さて、この Nemotron プラットフォームをどこまで推し進めるつもりなのか、その限界はどこにあるのか。つまり、これは単にユーザーの反応や採用状況、エコシステムに依存しているだけなのでしょうか？それとも、組織全体を通じて一貫して掲げられるべき「北極星」のような明確な指針があるのでしょうか？あるいは、他のオープンラボの多くを聞くと、「私たちはオープン AGI を構築したい」という声が聞こえてきます。これは必ずしも現実的な基盤に基づいているとは限りませんが、非常に包括的なビジョンが存在しているように感じられます。

組織全体を通じてトーンを設定しようとするような試みはありますか？AI についても同様で—

00:04:31 ブライアン・カタンザロ：私の北極星について言えば—

00:04:32 ネイサン・ランバート：…学術界のことは非常に—

00:04:34 ブライアン・カタンザロ：Nemotron については。

00:04:36 ネイサン・ランバート：はい、続けてください。

00:04:37 ブライアン・カタンザロ：ああ、すみません。どうぞ。

00:04:39 ネイサン・ランバート：私はちょうど、AI についても比較しようとしていました。私たちは非常に明確なビジョンを持っています。あまりにもオープンであることについて言えば、研究が極めて必要であり、信頼性の高い研究に基づいて構築できるレシピがほとんどないと感じています。つまり、研究インフラストラクチャが必要なのです。そして、Llama のようなものが登場しましたが、これはザッカーバーグ氏のビジョンの上に築かれたものでした。しかし彼は考えを変え、私は彼のビジョン、特にオープンモデルの必要性を説く彼の表現方法が非常に優れていると思っていたのですが、それが次第に薄れていきました。では、組織全体に浸透し、人々を惹きつけ、興奮させるようなビジョンを設定する方法はあるのでしょうか？

00:05:17 ブライアン・カタンザロ：その通りです。私たちが Nemotron を構築したのには主に 2 つの理由があります。第一に、私たちの主力製品ラインのために必要だからです。では、私が何を意味しているのかというと？

さて、アクセラレーテッドコンピューティング（加速計算）とは、NVIDIA が行っていることであり、私たちは高速なコンピュータを構築しています。しかし、高速なコンピュータを構築する目的は、人々が新しいことをできるように支援することです。実際には、すべての高速コンピュータは同時に低速なコンピュータでもあります。「コンピュータがもっと速く、より多くのことができるようになればいい」という観察は古くから存在しており、コンピューティングの黎明期からあることです。では、アクセラレーテッドコンピューティングと標準的なコンピューティングの違いは何でしょうか？それは、特定のワークロードを加速することに優先順位をつけ、焦点を当て、決定を下す点にあります。残りのすべてのワークロードのうち約 99% に相当する他のワークロードについては、他者に任せることにします。

つまり、NVIDIA のシステムを購入して汎用計算を行うわけではありません。特定の目的のために購入するのです。現在では、それはすべて AI（人工知能）に関わるものです。しかし、AI に関連する計算ワークロードについて考えると、非常に多様性があり、また私たちが AI 向けに構築する必要のあるシステムに極めて大きな影響を与える多くの重要なパラメータやハイパーパラメータ、あるいはアルゴリズム的アプローチが存在します。

数値精度や MoE アーキテクチャといった要素は、もちろんネットワーク設計に影響を与えます。私たちはスパース性について夢見ています。ご存知の通り、GPU におけるスパースニューラルネットワークのアクセラレーション機能は Ampere アーキテクチャから搭載されていますが、まだ十分に活用されているとは言い難いです。では、どのようにしてその機能を効果的に活用できるかを解明すべきでしょうか。これらの要素は NVIDIA の主力製品ラインの未来に多大な影響を及ぼすものであり、私たちが何を構築していくべきかを知るためには、これらの問いに対する答えを深く理解する必要があります。

顧客に直接出向いてアンケートを行い、「例えば、先ほど話題に出たメタ社のように、NVIDIA の今後の製品ラインアップでどのような機能を望みますか？」と尋ねることはできません。もちろん、メタ社は可能な限り私たちを支援しようとしていますが、彼らが私たちに伝えられることには限界があります。なぜなら、これらのシステムの設計に影響を与える情報の多くは、その導出に非常に高額なコストがかかるため、極めて厳重に管理されているからです。したがって、どのようなシステムを構築すべきか、AI のどの部分を加速させるべきで、どの部分については気にする必要がないかを理解するためには、こうした問いに対して深く洞察する必要があります。つまり、Nemotron モデルの最初の役割は、NVIDIA が企業として存続し続けることを可能にすることです。コミュニティがこの理由を知っておくことが重要だと私は考えます。なぜなら、NVIDIA が Nemotron への投資を行っているのは、それが当社の未来にとって不可欠であると信じているからです。したがってこれは——もちろん、「NVIDIA はオープンに開発された AI を支持しています」と言うのは心地よいことですが、私たちは慈善活動家だからです、というわけではありません。実際には、これはビジネス上の判断なのです。

00:08:34 ネイサン・ランバート：賢明な判断だ

00:08:34 ブライアン・カタンザロ：…例えば、NVIDIA にとっては、AI について非常に深く理解することがビジネス上必要です。したがって、NVIDIA の継続的な事業を維持するために正当化される投資額は、大きいと考えます。これが Nemotron の最初の任務です。次に、Nemotron の2番目の任務は、NVIDIA 以外のより広いエコシステムをサポートすることです。AI 環境において NVIDIA は特別な立場にあります。私が考えるすべての大手 AI 企業のうち、他社との連携が最も多いのは私たちだと考えています。私たちは、小規模企業から大企業まで、AI ネイティブな企業から古くからの確立された企業まで、あらゆる企業を支援しています。

私たちはハイパースケラーとも協力し、小さなスタートアップとも協力し、世界中の国々とも協力しています。そのため、私たちはこの独自の立場を持ち、同時に、ユニークな責任、そしておそらくはユニークな機会も担っていると考えます。AI がどのような方向へ、あるいはどのような能力において成長しようとも、それは私たちが事業を拡大する機会となります。もちろん、それが自動的に起こるわけではありません。AI 市場は多様であり、さらに多様化しており、そうあるべきです。なぜなら、これは人類の歴史で最も重要な市場だからです。私たちはそのことを認識しつつも、同時に、AI エコシステムを発展させることが私たちの利益になるとも知っています。AI を構築し、発明し、展開する人々が増えれば増えるほど、企業としての機会も大きくなるのです。

これが Nemotron の2番目の任務です。

00:10:17 ネイサン・ランバート：はい、そのように率直におっしゃっていただき、本当に感謝しています。というのも、私たちはこれまで……私たちが昨夏に立ち上げた「アダム・プロジェクト」は、米国におけるオープンモデルへの投資を促進しようとするものですが、オープンモデルに対して明確なビジネスモデルを持っているのは NVIDIA のような企業だけだと言えます。なぜなら、オープンモデルと研究エコシステムが CUDA 上で円滑に連携するように保証する必要があるからです。そうすることで、実際に進行中の研究に非常に近づくことができるのです。そうでない場合、つまり、AMD などと比較して主に GPU で研究が行われることには大きな利点があるためです。

00:10:49 ブライアン・カタンザロ：ええ、私たちは競争を阻止する方法について考えているわけではありません。競争は歓迎します。すでに多くの競争があります。この分野ではさらに多くの競争が必要ですが、コミュニティとの関わりを維持することには非常に自らの利益があると考えています。

ご存知の通り、これは非常に重要です。CUDA の話についてはあまり記憶に残っていない方もいらっしゃるかもしれませんが、実は CUDA は当初、NVIDIA が学術界や産業界に対して積極的に働きかけ、「新しい計算方法がありますので、ぜひこれを使って何ができるか試してみてください」と呼びかけたことから始まりました。

実際、私は 2006 年にバークレーの大学院生だったときに CUDA を使い始めました。当時 NVIDIA のチーフサイエンティストだったデビッド・カーク氏がバークレーを訪れ、「新しい GPU をリリースしました。この新しいプログラミングモデルは CUDA と呼ばれますので、ぜひ試してみてください」とおっしゃったのです。その時私は FPGAs 上で機械学習に取り組んでおり、特にサポートベクターマシン（SVM）のトレーニングの一部を FPGA で実装していました。そこで、その小さな部分を CUDA で書き直してみることにしたところ、わずか 15 分ほどで完成し、実行すると、シングルスレッドの CPU コードと比較して約 200 倍もの速度向上がありました。

「おや、これは以前よりもずっと簡単だ！これならすぐにでも取り組める」と思ったものです。

さて、私の CUDA や NVIDIA への個人的な関与は、CUDA の開始当初から NVIDIA が行っていたこのアウトリーチ活動に起因するものです。ご存知の通り、これは NVIDIA に多くの素晴らしい成果をもたらしました。その一つが AlexNet です。これもまた学術プロジェクトであり、Alex Krizhevsky と Ilya Sutskever は「より大量のデータを用いて大規模なニューラルネットワークをどうやって訓練するか？GPU をこれまでとは異なる革新的で賢い方法で使用して GPU コードを書き込み、より優れた画像分類モデルを訓練しよう」と考えていました。そして、その結果は驚くべきものでした。これはコミュニティ全体にとって深層学習の時代を切り開くきっかけとなったのです。また、これもトップダウンで成し得たことではありません。これは、NVIDIA が並列計算と人工知能におけるオープンな開発および再研究を支援した結果として生まれたものです。私たちはこのことを忘れず、2026 年にはどのような姿になるかを考えています。つまり、どこかの研究室に所属する大学院生である未来の Alex Krizhevsky を支援し、世界を変える次世代技術を発明させるにはどうすればよいかということです。Nemotron や、現在公開されている他のオープン開発 AI プロジェクトのようなものなしでは、そのようなことは非常に難しいように思われます。なお、Nemotron は唯一のプロジェクトになろうとしているわけではありません。

私たちはコミュニティの一員です。オープンに開発された AI で素晴らしい成果を上げている他の人々を愛しています。他の人々の取り組みから学び、コミュニティをサポートしようとしています。それは私たちの利益にもなるからです。もちろん、他の人々が貢献しているのも非常に嬉しく思っています。

00:13:57 ネイサン・ランバート：はい、私が質問したかった点に移らせていただきます。Nemotron 25 が成熟（maturing）という言葉を使いたくないのですが、組織内でどのように感じられているかについてお聞きしたいのです。しかし、出力がコミュニティやモデルを構築する人々によってより注目されるレベルに達したことは事実です。これには多くの要因がありますが、私の専門分野のコミュニティでは、Nemotron のデータセットをよく利用しています。例えば、ポストトレーニング（post-training）レシピを見直す際、参考にするのは NVIDIA がリリースした高品質でオープンライセンスのポストトレーニングデータだけです。今年もまた、AI2 において大きな注目を集めた事前トレーニング（pre-training）データのいくつかをリリースし始めました。これは何でしょうか？Nemotron 内の明確な転換点と言えるのでしょうか？

それは長年やりたかったことで、ようやく実行したのでしょうか？でも、それはまさにゼロからイチへの瞬間のようなもので、事前トレーニングデータを公開することはどの企業にとっても法的リスクを伴うものですが、それを敢行する人はあまりいません。私の側の世界では、通常、最適な事前トレーニングデータセットが何かを言うのは比較的簡単で、長年にわたり Hugging Face、AI2、DCLM といった選択肢の間で揺れ動いており、実質的に選択肢はたった二つか三つしかなかったのです。したがって、基礎研究の観点からは、組織としてコミュニティをサポートし、ある程度のリスクを引き受けることは大きな一歩だと考えます。もしお話しできるエピソードがあれば、あるいは単に「感謝しています」と言っていただければ結構です。それ以上は特にありません。

00:15:23 ブライアン・カタンザロ：そうですね。つまり、Nemotron は単なるモデルではないことをより多くの人々に理解してほしいと思います。私たちが Nemotron で目指しているのは、オープンに開発された AI の支援です。これもまた、私たちの大きな機会だからです。現在、モデルを構築するようインセンティブを与えられている組織は数多くあり、そのモデルが事業の根幹をなすケースも少なくありません。

しかし NVIDIA においては、事業を動かしているのはモデルではなくシステムなのです。