How NVIDIA Builds Open Data for AI｜NVIDIAがAI向けオープンデータを構築する方法

記事に戻る NVIDIAがAI向けオープンデータを構築する方法 アップボート - ![](/avatars/87e34ec78b0b360f57915e6564213793.svg) Will Jennings WillJenningsDC フォロー ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1613114437487-60262a8e0703121c822a80b6.png) nvidia ![](https://cdn-avatars.huggingface.co/v1/production/uploads/no-auth/NCK3br1uL-gfkVWmd_VRQ.png) Yev Meyer nv-3mei フォロー ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1613114437487-60262a8e0703121c822a80b6.png) nvidia ![](/avatars/1fdb512f66e6538741f446690e1b16b8.svg) Leanna Chraghchian leannachr フォロー ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1613114437487-60262a8e0703121c822a80b6.png) nvidia ![](https://cdn-avatars.huggingface.co/v1/production/uploads/no-auth/jBA7RQddlVWtMYRkdo4sU.png) Rebecca Kao rebeccak-nv フォロー ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1613114437487-60262a8e0703121c822a80b6.png) nvidia ![](https://cdn-avatars.huggingface.co/v1/production/uploads/67d8b4a36aa351375456049e/hWuvpThKX6vVy5QcrDe6d.jpeg) Jane Polak Scowcroft jscowcroft フォロー ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1613114437487-60262a8e0703121c822a80b6.png) nvidia ![](/avatars/65850949424dd5d8d57cc6b7fcb53128.svg) Annie Surla asurla1998 フォロー ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1613114437487-60262a8e0703121c822a80b6.png) nvidia 信頼性の高いAIシステムとエージェントのスケーリングに向けた協調的アプローチ。 AIの進歩は、多くの場合、モデルの能力と効率の観点から語られます。しかし実際には、あらゆるトレーニングパイプラインは最終的に、モデルの振る舞いを決定するデータ層に依存しています。 エージェントシステムが自律性を増すにつれ、その学習データは、システムの知識、推論方法、安全に実行できる行動をますます決定づけるようになります。にもかかわらず、現在の学習データの多くは、不透明であったり、断片的であったり、チーム間でサイロ化されたままです。 オープンデータアクセスはこの状況を一変させます。開発者に対して高品質なモデル構築へのより迅速で費用対効果の高い道筋を提供すると同時に、エコシステム全体での評価と改善を容易にします。これが、NVIDIAがオープンモデル、ツール、学習手法と並行してオープンデータセットを公開する理由です。 AI開発におけるデータのボトルネック 高品質なデータセットの構築は、AI開発における最大のボトルネックの一つであり続けています。組織は、単一のモデル学習を開始する前に、データの収集、アノテーション、検証に数百万ドルと数ヶ月、あるいは1年以上を費やすことが珍しくありません。モデルがデプロイされた後でも、ドメイン専門知識や評価フレームワークへのアクセスは、常に付きまとう課題です。 NVIDIAは、この障壁を低減するため、Hugging Face上で許諾ライセンスのデータセットを公開し、GitHub上で学習レシピと評価フレームワークを提供しています。これにより、開発者はすぐに構築を始めることができます。これまでに、180を超えるデータセットと650以上のオープンモデルにわたり、2ペタバイト以上のAI対応トレーニングデータを共有してきました。そして、これはまだ始まりに過ぎません。 実世界のオープンデータセット NVIDIAのオープンデータ公開は、ロボティクスや自律システムからソブリンAI、生物学、評価ベンチマークまで、複数の領域にまたがっています。NVIDIA内の各チームによって構築されたこれらのデータセットは、データを共有することが、いかに実世界のAI開発を加速させるかを示しています。 以下に、当社のエコシステム全体からいくつかの例を紹介します。 Physical AI コレクション ロボティクスシステムには、構造化されたマルチモーダルデータが必要です。このコレクションには、50万以上のロボティクストラジェクトリ、5700万の把持動作、15TBのマルチモーダルデータが含まれており、複数のグリッパータイプとセンサー構成にわたってNVIDIA GR00T推論ビジョン言語アクションモデルを開発するために使用されたアセットも含まれます。このデータセットは、オープンなGR00Tデータセットを用いて最近公開されたGWM-Robotics世界モデルを開発したRunway社や、ロボティクスシミュレーション企業のLightwheel社がロボティクス方策を改良するためにこのデータセットを使用するなど、1000万回以上ダウンロードされています。 このコレクションには、利用可能な中で最も地理的多様性に富んだ自動運転車（AV）データセットの一つも含まれており、25か国、2500以上の都市にまたがる7台のカメラ構成にLiDARとレーダーを加えたマルチセンサーデータが1700時間以上収録されています。この広範なデータは、様々な運転環境における知覚ベンチマークを支援し、より広い商業的実用性を持つ学術データセットを補完します。 Nemotron Personas コレクション Nemotron Personasは、実世界の人口統計分布に基づいた完全合成のペルソナデータセットであり、地域や言語を超えて文化的に真正で多様な個人を大規模に生成します。 このコレクションはソブリンAI開発を支援し、現在以下の人口規模のデータセットを含んでいます： アメリカ合衆国 – 600万人のペルソナ 日本 – 600万人のペルソナ インド – 2100万人のペルソナ ブラジル – 600万人のペルソナ（WideLabsと共同開発） シンガポール – 88万8000人のペルソナ（AI Singaporeと共同開発） これらのデータセットは、すでに世界中で実際のデプロイメントを支えています。CrowdStrike社は200万人のペルソナを使用して、NL→CQL翻訳の精度を50.7%から90.4%に改善しました。日本では、NTTデータとAPTO社がこれらのデータセットを用いて、最小限の独自データでドメイン固有の知能をブートストラップし、法的QAの精度を15.3%から79.3%に向上させ、攻撃成功率を7%から0%に削減しました。 これらのデータセットはまた、最先端の10Bパラメータ未満モデルであるNVIDIA Nemotron-Nano-9B-v2-Japaneseの開発を支え、Nejumiリーダーボードのトップに到達しました。 La Proteinaは、生物学的モデリングと創薬ワークフローのために設計された、完全合成の原子的タンパク質データセットです。45万5000の構造体と、従来のベースラインに対して最先端の73%の構造多様性向上を特徴とし、PII（個人識別情報）やライセンス制約なしで設計にすぐ使える分子表現を提供します。これは、オックスフォード大学、Mila研究所、CIFARの研究者たちとのオープンな共同研究によって可能となった科学的成果です。 SPEED-Benchは、投機的デコーディング性能を評価するための標準化されたベンチマークです。2つの分割で構成されています：11のテキストカテゴリーにわたって意味的多様性を最大化する「Qualitative Split」と、ランダムなトークンではなく実際の意味的データを使用して正確なスループットのパレート曲線を構築するため、入力シーケンス長のバケット（1K–32K）に整理された「Throughput Split」です。すでにNemotron MTP性能の主要な内部ベンチマークとして採用されており、SPEED-Benchはチームに対して、プロンプトの複雑さとコンテキスト長にわたるドラフトモデルの性能を評価する一貫した方法論を提供します。 Retrieval-Synthetic-NVDocs-v1 この合成検索データセットは、NVIDIAの公開ドキュメント1万5000ファイルから生成された、11万のクエリ、パッセージ、回答のトリプレットを提供します。埋め込みモデルとRAG（検索拡張生成）システムの学習と評価のために設計され、このデータセットは、事実的、関係的、手順的、推論的、時間的、因果的、視覚的など、複数の推論タイプにわたる意味的に豊富なQAペアと、構造的、マルチホップ、コンテキスト依存的なクエリを含む多様なクエリタイプを特徴としています。埋め込みモデルのドメイン内ファインチューニングは、大幅な向上を示しています：nvidia/llama-nemotron-embed-1b-v2をこのデータセットでファインチューニングすると、NDCG@10が11%向上します。このデータセットは約3〜4日で生成でき、ファインチューニングは8基のA100 GPUで約2時間かかります。これにより、データセットからデプロイ済みモデルへの迅速な反復的改良が可能になります。 Nemotron-ClimbMix ClimbMixは、CLIMBアルゴリズムを用いて構築された400Bトークンの事前学習データセットです。CLIMBアルゴリズムは、埋め込みベースのクラスタリングと反復的な改良を使用して、言語モデル学習のためのより高品質なデータ混合物を特定します。このデータセットはすでにコミュニティから大きな関心を集めています：Andrej Karpathy氏は、Nemotron-ClimbMixが「Time-to-GPT-2」リーダーボードで最大の改善をもたらすと指摘し、NanoChat Speedrunのデフォルトデータレシピとして採用され、以前のFineWeb-Eduセットアップと比較してH100の計算時間を約33%削減しました。ClimbMixはCC-BY-NC-4.0ライセンスの下で公開されています。 これらの公開は、AI開発者がモダリティとモデルライフサイクルの段階を超えて依存できる、共有された参照基盤への継続的な投資を反映しています。 Nemotronトレーニングデータセット NVIDIAのオープンデータ活動の中核をなすものの一つが、Nemotronモデルファミリーの学習とアライメントに使用される一連のデータセットです。過去1年間で、これらのデータセットは、フロンティア言語モデルにおける推論、コーディング、多言語能力をより良くサポートするように進化してきました。 Nemotron事前学習の進化 ![](https://cdn-uploads.huggingface.co/production/uploads/68d2fec8856b85d927e44d32/Q5O7Sn54ChoEF6-e3VxP4.png) Nemotron事前学習の進化を示すチャート 初期の公開は一般的なウェブコーパスに大きく依存していましたが、新しい公開では数学、コード、STEM知識などのより高シグナルな領域が強調されています。この増加したシグナル密度により、モデルはより強力な推論と問題解決能力を学習できます。 Nemotron事前学習スタックには、異なる能力のために設計されたいくつかの精選データセットが含まれています： Nemotron-CC – より高シグナル密度のために書き直された、グローバルに重複排除されたウェブデータ Nemotron-CC-Math および Nemotron-CC-Code – LaTeXとコードフォーマットを保持した数学とコード推論データ Nemotron-Pretraining-Code – 大規模コードリポジトリから精選されたプログラミングデータセット Nemotron-Pretraining-Specialized – アルゴリズム、経済学、論理、STEM推論などの主要領域で能力を高めるための合成データセット これらのデータセットは、推論、コーディング、多言語理解が可能な汎用言語モデルの基盤を形成します。これらはNemotronだけでなく、AIセキュリティ企業Trend MicroのPrimus-Labor-70Bのようなパートナーのフロンティアモデルも支えています。 Nemotron事後学習の進化 ![](https://cdn-uploads.huggingface.co/v1/production/uploads/68d2fec8856b85d927e44d32/mXD4sltJq-dq2SGvNX0f-.png) Nemotron事後学習の進化を示すチャート Nemotron事後学習スタックの主要なデータセットには以下が含まれます： Nemotron-Instruction-Following-Chat – 構造化された会話的指示追従データ Nemotron-Science – 合成科学推論データセット Nemotron-Math-Proofs – 形式的数学推論データセット Nemotron-Agentic – マルチステップ計画とツール使用をサポートするデータセット Nemotron-SWE – ソフトウェアエンジニアリングタスクのための指示チューニングデータセット これらのデータセットは、モデルが複雑な指示に従い、推論の過程を生成し、多段階タスクを確実に実行するのを助ける構造化された監督を提供します。初期の反復では、ドメインデータと組み合わせてServiceNowのApriel Nemotron 15B / Apriel 1.6 Thinkerが開発されました。これは15Bパラメータ規模でGemini 2.5 FlashとQwen3を上回り、またHugging Faceで人気の小規模言語モデルであるSmolLM3も開発されました。 NVIDIAはまた、オープンな安全性と強化学習データセットでこの取り組みを拡大しています。これにはNemotron-Agentic-Safety（ツール使用ワークフローから得られた1万1000のラベル付きテレメトリートレース）とNemotron-RLが含まれます。Nemotron-RLは数学、コーディング、ツール使用、パズル、推論にまたがる90万タスクのコーパスで、モデルに真のトレーニング「ジム」を提供します。 エクストリーム・コードザイン この規模で高品質なデータセットを設計することはチームスポーツです。データ戦略家、AI研究者、インフラストラクチャエンジニア、政策専門家の緊密な協力が必要となります。 NVIDIAでは、データへのアプローチを、あらゆるソフトウェアおよびハードウェアエンジニアリングの問題と同様に行います。私たちはこれをエクストリーム・コードザインと呼んでいます。つまり、すべてのコンポーネントを一緒に設計し、大規模なボトルネックを排除するのです。 可能な限り、データセットとその背後にある手法を公開しています。オープンコミュニティとパートナーはそれらをストレステストし、エッジケースを明らかにし、データセットを新しい領域に拡張します。これらの洞察は直接次の反復に反映され、私たちの内部システムとより広範なAIエコシステムの両方を改善します。 ![](https://cdn-uploads.huggingface.co/production/uploads/68d2fec8856b85d927e44d32/h6_SUdz4pAsQ6s-HQNPL9.png) CES 2026 基調講演 NVIDIAはまた、ViDoReとCVDPという2つのコンソーシアムを通じてパートナーと協力しています。これらは業界と学術パートナーを結集し、新興AIシステムのためのオープンベンチマークと評価フレームワークを開発します。 オープンキッチンで料理を始めよう NVIDIAでは、オープンデータをオープンキッチンのように考えています。材料は見え、レシピは共有され、誰もが料理の作り方を学ぶことができます。 データサイエンスとモデル構築に情熱を持つすべての方に、Hugging Face上のNVIDIAのオープンデータセットを探索し、チュートリアルとNemotronラボを試し、DiscordのNemotronコミュニティに参加して将来のデータセットに協力することをお勧めします。 次世代の信頼できるAIモデルとエージェントシステムは、共有された基盤の上に構築されます。オープンデータはその重要な一角です。

NVIDIAがAI向けオープンデータを構築する方法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト