コードコンセプト：プログラミング概念の種から生成された大規模合成データセット

記事に戻る コードコンセプト: プログラミング概念のシードから生成された大規模合成データセット アップボート - ![](/avatars/461a871387bbc0b3e117fd17dfce5430.svg) Joseph Jennings jojennin フォロー ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1613114437487-60262a8e0703121c822a80b6.png) nvidia ![](https://cdn-avatars.huggingface.co/v1/production/uploads/no-auth/e5G4n4qLv6TZKnJ53tBE1.png) Brandon Norick nvda-bnorick フォロー ![](https://cdn-avatars.huggingface.co/v1/production/uploads/1613114437487-60262a8e0703121c822a80b6.png) nvidia 大規模言語モデル（LLM）の開発において、モデル品質の向上はデータ量だけでなく、データの質と特定性にも依存します。事前学習データセットはしばしば膨大な範囲の情報を含みますが、推論やプログラミング習熟度といった特定のスキルを強化するために必要な概念的な焦点付けが欠けていることがあります。この課題に対処するため、我々はスケーラブルで概念駆動型の合成データ生成のための手法を設計しました。これは研究者が望むモデル能力に沿ったデータを生成できるワークフローです。最初の応用例として、我々は1500万のPythonプログラミング問題から成る事前学習規模の合成データセットを構築し、Nemotron-Pretraining-Specialized-v1.1データセットのNemotron-Pretraining-Code-Conceptsサブセットとして公開しました。これらのデータをNemotron-Nano-v3事前学習の最終1000億トークンに含めることで、HumanEvalベンチマークで6ポイントの向上が得られることを示します。 我々のワークフローは、Nemotron-Pretraining-Code-{v1,v2}データセットの大規模アノテーションから導出された、プログラミング知識の精選されたタクソノミー（分類体系）を中心としています。このタクソノミーは、基本的な構成要素（例：文字列、再帰）から高度なアルゴリズムやデータ構造パターンまで、階層的に整理された数千のプログラミング概念を符号化しています。このタクソノミーを用いることで、開発者は選択した概念の組み合わせと蒸留を通じて焦点を絞ったデータ生成を実行でき、実験者が生成データ全体の難易度、多様性、概念的バランスを制御できるようにします。 このワークフローを実際に評価するため、LLM事前学習における基礎的なPythonプログラミングスキルを強化することを目的とした大規模合成データセットを作成するためにこれを適用しました。まず、HumanEvalベンチマークのコード補完プロンプトを我々のタクソノミー内で分類することで、HumanEvalベンチマークに最も関連性が高く（それでも実践的なプログラミング知識を広く代表する）、91のコア概念を特定しました。これらの概念の組み合わせに基づき、約1500万の合成Pythonプログラミング問題を生成し、それぞれが実行可能なPythonコードで構成されていることを検証しました（Pythonの `ast.parse` を使用）。 ![](https://cdn-uploads.huggingface.co/production/uploads/645ad6e2d8ba048d02ad374a/6qsYCzlhOE7PCMtGiVshK.png) 図1: コードコンセプトデータセットを生成するために使用された概念駆動型データ生成。Nemotron-Pretraining-Code-{v1,v2}データセットから構築されたタクソノミーを用いて、HumanEvalプロンプトからプログラミング概念を抽出し、それらをオープンエンド生成に使用します。我々のワークフローは、91の異なるプログラミング概念から派生した約1500万のPythonプログラミング問題をもたらしました。 ![](https://cdn-uploads.huggingface.co/production/uploads/645ad6e2d8ba048d02ad374a/kTTeyzhNiV59DO5NTbI8X.png) 図2: 我々の概念駆動型データ生成ワークフローの一部としてのPythonプログラミング問題生成の視覚的表現。プロンプトは概念の組み合わせ（青枠内に含まれ、ドット表記で表現）、指示、およびいくつかの制約から構築されます。GPT-OSS 120Bを使用して問題が生成され、その後、構文解析され品質のためにフィルタリングされます。この特定の例では、概念の組み合わせ `data-structures.sets.operation`、`algorithms.arrays.processing`、`algorithms.geometry.computational` が使用されています。 これらの生成データを検証するため、コードコンセプトデータセットの100億トークンをNemotron Nano-v3事前学習の最終1000億トークンに含めました。学習と評価の後、結果として得られたモデルがHumanEval精度で73から79へ、6ポイントの改善をもたらすことがわかりました。図3は、Nemotron-Nano-v3とコードコンセプトデータセットで学習したNemotron-Nano-v3のベースモデル評価の比較を示しています。定量的な向上を超えて、定性的評価は、様々なプログラミング概念（例：グラフアルゴリズム、集合演算）にわたるより強力なパフォーマンスと、エッジケースおよび実行推論の改善された処理を明らかにしています。 我々はこのデータセットを、より広範な概念駆動型生成ワークフローの検証として捉えています。データセットと基盤となるタクソノミーの両方を寛容なオープンライセンス（CC-BY-4.0）の下で公開することで、コミュニティがこの手法を他の分野やユースケースに拡張し、スケーラブルで焦点を絞ったLLM事前学習に活用できることを期待しています。 ![](https://cdn-uploads.huggingface.co/production/uploads/645ad6e2d8ba048d02ad374a/s59vTCC7NdvK0xS3ZdOBC.png) 図3: コードコンセプトデータの約100億トークンを使用して1000億トークンのデータ除去実験を実行した後に得られたベースモデルベンチマーク評価結果。コードコンセプトデータで学習したモデルはHumanEvalで6ポイントの向上を達成し、他のほとんどのベンチマークは変化しませんでした。

コードコンセプト：プログラミング概念の種から生成された大規模合成データセット

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト