生成AI支援コーディングによるKaggleコンペ優勝

2026年3月、3つのLLMエージェント（Large Language Model agents）が60万行以上のコードを生成し、850回の実験を実行し、Kaggleのプレイグラウンドコンペティションで1位入賞を果たすのを支援しました。 現代の機械学習コンペティションにおける成功は、いかに迅速にアイデアを生成し、テストし、反復できるかによって定義されつつあります。LLMエージェントとGPUアクセラレーション（GPU acceleration）を組み合わせることで、このループは劇的に圧縮されます。 歴史的に、この実験を制限してきた2つのボトルネックがあります。 - 新しい実験のためのコードをいかに迅速に記述できるか。 - それらの実験をいかに迅速に実行できるか。 GPUやNVIDIA cuDF、NVIDIA cuML、XGBoost、PyTorchなどのライブラリは、2番目の問題をほぼ解決しました。LLMエージェントが現在1番目の問題に対応しており、これにより迅速な反復実験の新たな規模が可能になります。 本ブログ記事では、最も高性能な表形式データ予測ソリューションの発見を加速するためにLLMエージェントをどのように使用したかを説明します。 ## ケーススタディ：Kaggleプレイグラウンドの顧客離脱予測 2026年3月の[Kaggleプレイグラウンドコンペティション](https://www.kaggle.com/competitions/playground-series-s6e3)では、参加者に電信顧客の離脱予測に挑戦してもらい、パフォーマンスは曲線下面積（area under the curve, AUC）で測定されました。最も正確なソリューションが勝利します。 [1位ソリューション](https://www.kaggle.com/competitions/playground-series-s6e3/writeups/1st-place-gpt5-4-gemini3-1-claudeopus4-6-kgm)は、850個の中から選抜された150モデルによる4層のスタックです。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/04/Four-Level-Stack.webp)*図1. 150モデルが勝利を収める4層スタックにどのように組み合わされるかを示す図* ## ガイド付きLLMエージェントのワークフロー この表形式データコンペティションでは、[以前のブログ記事](https://developer.nvidia.com/blog/the-kaggle-grandmasters-playbook-7-battle-tested-modeling-techniques-for-tabular-data/)で説明されているKaggleグランドマスターのプレイブックに従うよう、LLMエージェントを誘導しました。 具体的には、LLMエージェントは以下のワークフローに従います。探索的データ分析（exploratory data analysis, EDA）から始まり、ベースラインの構築、特徴量エンジニアリング（feature engineering）、そして最後にヒルクライミング（hill climbing）とスタッキング（stacking）によるモデルの結合です。 このソリューションは、ヒューマン・イン・ザ・ループ（human-in-the-loop）ワークフローにおいて、複数のLLMエージェント（GPT-5.4 Pro、Gemini 3.1 Pro、Claude Opus 4.6）を使用しました。 ## ステップ1：LLMエージェントによるEDAの実行 LLMエージェントは、完全なパイプラインを生成する前にデータ構造を理解する必要があります。 重要な質問には以下が含まれます。 - 学習セットとテストセットには、それぞれどのくらいの行数と列数がありますか？ - 目的変数（ターゲット）の列はどれで、どのようにフォーマットされていますか？ - このタスクは分類問題ですか、回帰問題ですか？ - 利用可能な特徴量はどれで、どのようにフォーマットされていますか？ - どの特徴量がカテゴリカル（カテゴリ）変数または数値変数ですか？ - 欠損データはありますか？ この情報は事前に提供するか、EDAを通じて自動的に推論することができます。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/04/EDA-Code.webp)*図2. LLMエージェントは、EDAコードを繰り返し記述して実行することでデータを探索します* チャットウィンドウでLLMを使用する場合、以下のようにプロンプトします。 「train.csvとtest.csvというCSVファイルを検索・探索するための探索的データ分析（EDA）コードを書いてください。私がそのコードを実行し、プロット結果やテキストをあなたに共有します。」 Claude Codeのようなコード実行機能付きの大規模言語モデル（LLM）を使用する場合、データ理解のためにLLMに自身のコードの作成と実行を依頼できます。 「train.csvとtest.csvというCSVファイルを理解するための探索的データ分析（EDA）コードを作成し、実行してください」 ## ステップ2：LLMエージェントがベースラインを構築する LLMがデータ、具体的には特徴量カラムとターゲットカラムを理解したら、特定のモデルをLLMに依頼してkfold（k分割交差検証）モデルを学習する最初の完全なパイプラインを作成する時が来ました。 「train.csvとtest.csvを読み込み、kfold XGBoostモデルを学習する完全なコードパイプラインを書いてください。OOF（fold外予測値）とTest PREDSをNumpyファイルとしてディスクに保存してください。各foldおよび全体のメトリクススコアを表示します。」 出力されたコードをコピーしてコードベースに貼り付けます。コマンドラインまたはIDEエージェントを使用している場合は、PythonファイルやJupyter Notebookを直接作成させるようにします。 コードを実行して、最初のCV（交差検証）メトリクススコア、OOFファイル、Test PREDファイルを入手します。 GBDT（勾配ブースティング決定木）、NN（ニューラルネットワーク）、ML（機械学習）モデルなど、さまざまなベースラインの構築をLLMに依頼できます。各実験ではCVスコアが報告され、予測値は「train_oof_[MODEL]_[VERSION].npy」と「test_preds_[MODEL]_[VERSION].npy」という形式でディスクに保存されます。 これらのファイルは重要であり、後ほど使用します。 ## ステップ3：LLMエージェントが特徴量エンジニアリングを実行する 現在、多様なモデルのコレクションがあり、それらのベースラインとなるCVメトリクススコアが分かっています。特徴量エンジニアリングやモデルのチューニング・改善によって、各モデルを向上させることができます。特徴量エンジニアリングは、モデルがより多くのシグナル（有用な情報）を抽出できるようにデータを変換することに焦点を当てています。一方、モデルのチューニング・改善は、より多くのシグナルを抽出するためにモデル自体を変更することに焦点を当てています。LLMエージェントはこれらのタスクの両方に優れています。 実験を反復的に実行し、モデルを改善するすべてのアイデアを採用し続けることで、より優れたモデルが生まれます。実験の結果が良かろうが悪かろうが、常にOOFとテスト予測値をディスクに保存してください。 ![image](https://developer-blogs.nvidia.com/wp-content/uploads/2026/04/Agent-Iteration-625x222.png)*Figure 3. LLM Agents improve models by repeatedly exploring feature engineering and evaluating the new model* LLMエージェントは、必要な速度でコードを記述できます。サイクルを加速するために、cuDF、cuML、勾配ブースティング決定木（GBDT）用のGPUライブラリ、PyTorch GPUなど、常にGPUおよびGPU対応ライブラリを使用して、各実験を可能な限り高速に実行します。 新しいアイデアを生成するには、私たちが提案するか、LLMに生成させるかのいずれかです。LLMにアイデアを生成させるための効果的な方法には、以下のようなものがあります： - 関連する研究論文を探して読むようLLMに依頼する。 - 関連フォーラムや公開されているコードを読むようLLMに依頼する。 - 特徴量エンジニアリングのために、特徴量とターゲットの関係を特定する探索的データ分析（EDA）を実行させる。 - 現在のナレッジベースに基づいてLLMにアイデアを依頼する。 - 人間がLLMとブレインストーミングを行い、一緒にアイデアを創出する。 私たちのアイデアの1つを使用して、LLMエージェントに既存のコードから新しいコードを作成させることができます： 「以下のコードの代わりに、ABC の代わりに XYZ を使用する完全な置換コードを書いてください」 これで、新しい実験を実行する準備が整いました！ ## ステップ 4：LLM エージェントがモデルを組み合わせる ここまでで、それぞれが独自のモデルと異なる特徴量エンジニアリング（feature engineering）を備えた多数の実験結果が存在し、それらは Python スクリプトまたは Jupyter Notebook に保存されています。LLM エージェントはこれらのモデルやアイデアを組み合わせることに優れており、以下のような多様な方法で私たちのすべてのモデルを活用・管理するのを助けてくれます。 - すべてのモデルタイプと特徴量エンジニアリングを要約する。 - 異なるモデルや特徴量エンジニアリングのアイデアを組み合わせて、より強力な単一モデルを構築する。 - 異なるモデルからアンサンブル（ensembles）を構築する。 - 他のモデルの上にスタック（stacking）モデルを構築する。 - 一部のモデルを使用して疑似ラベル付け（pseudo-labeling）や知識蒸留（knowledge distillation）を行い、より強力な単一モデルに適用する。 私が最初にやるべき有用なことのひとつは、LLM エージェントにすべての実験を要約させることです。チャットウィンドウにファイルをドラッグ＆ドロップするか、Claude Code などの LLM コマンドラインエージェントを使用して、複数のファイルにわたる結果を読み取り集約できます。これにより、データと問題の理解が深まり、何が機能しているかが明確になります。 強力な手法のひとつは、LLM エージェントに複数のアイデアやモデルを単一モデルに組み合わせさせることです。 「これらの IPYNB ファイルをすべて読み取り、すべてのアイデアを活用して、これらすべてのモデルよりも強力な新しい単一 XGBoost モデルを学習する完全なコードを書いてもらえますか？」 もう一つの手法は、一部のモデルまたはすべてのモデルから知識を単一モデルに転移させることです。私たちは OOF（Out-of-Fold：交差検証外予測）およびテスト予測値（これらは本質的に疑似ラベルです）を使用して、知識をより強力な単一モデルに転移させます。 「すべての OOF および Test PREDs から知識蒸留を用いて新しい単一 NN（ニューラルネットワーク）または GBDT（勾配ブースト決定木）を学習し、高性能な新しい単一モデルを作成してもらえますか？」 上記の両方の手法は、新しい実験と新しい OOF およびテスト予測ファイルを生み出します。新しい特徴量エンジニアリングやモデル改善を施した各ベースラインモデルと実験には、対応する OOF およびテスト予測ファイルが関連付けられています。数百ものファイルが存在するのは珍しくありません。ここで、LLM にヒルクライミング（hill climbing）やスタッキング（stacking）を用いた組み合わせを依頼できます。 「すべての OOF および Test PREDs を、さまざまなメタモデル（meta models）を用いて組み合わせる試行をしてもらえますか？ヒルクライミング、リッジ／ロジスティック回帰（Ridge/Logistic regression）、NN、GBDT スタッカーを試してください。よろしくお願いします」 ## 結果 上記の 4 つのステップを踏むことで、多様なモデルセットを作成します。その後、各モデルのパフォーマンスを向上させます。最後に、すべてを強力なソリューションに組み合わせます。この手法の利点は、GPU 加速されたモデル実行と LLM エージェントによる高速なコード記述により、多くのアイデアを迅速に探索できる点にあります。誰もが、テーブルデータ予測タスクにおいて最もパフォーマンスの高いソリューションを探す際に、これらの手法を活用できます。 ## はじめに 結果を加速させる準備はできましたか？まずは、[cuDF](https://developer.nvidia.com/topics/ai/data-science/cuda-x-data-science-libraries/cudf)（CUDA DataFrames）および [cuML](https://developer.nvidia.com/topics/ai/data-science/cuda-x-data-science-libraries/cuml)（CUDA Machine Learning）ライブラリ、そして [CUDA-X for data science](https://developer.nvidia.com/topics/ai/data-science/cuda-x-data-science-libraries)（データサイエンス向けCUDA-X）について探索することから始めてみてください。 さらに深く掘り下げるには、[DLI workshop on feature engineering](https://learn.nvidia.com/courses/course-detail?course_id=course-v1:DLI+S-DS-06+V1)（機能エンジニアリングに関するDLIワークショップ）でスキルを磨いてください。また、[The Kaggle Grandmasters Playbook: 7 Battle-Tested Modeling Techniques for Tabular Data](https://developer.nvidia.com/blog/the-kaggle-grandmasters-playbook-7-battle-tested-modeling-techniques-for-tabular-data/)（カググル・グランマスターズプレイブック：表形式データのための7つの実証済みモデリング手法）という記事から、プロフェッショナルな戦略を学んでみてください。

生成AI支援コーディングによるKaggleコンペ優勝

背景や根拠まで確認しますか？

調べる

選ぶ

サイト