Surge AIがOpenAIの8,500問の数学問題データセットGSM8Kを構築した方法

# 要約：Surge AIがOpenAIのGSM8Kデータセット（8,500の数学問題）を構築した方法 Surge AIは、OpenAIの強化学習チーム向けに、8,500問の小学校レベルの数学文章題データセット「GSM8K」を構築した。このデータセットの目的は、GPT-3のような言語モデルに自然言語の数学問題を解く能力を訓練させ、その推論力を測定することにある。この成果はOpenAIのブログで発表され、GoogleのPaLMやChain of Thought論文を含む多くの研究機関でも採用されている。 データセット作成はAI開発の重要な基盤であるが、その重要性は過小評価されがちである。実際、多くの研究者は自身が使用するデータセットを詳細に検証しておらず、入力データの質の問題（例：GoogleのGoEmotionsデータセットでは30%以上が誤ラベル）がモデルの信頼性を損なうリスクとなっている。Surge AIはデータの質を深く重視し、その取り組みを共有するため、GSM8Kを皮切りにデータセット構築のプロセスを解説するシリーズを開始した。 GSM8K構築の核心は、明確なガイドラインの策定にあった。OpenAIが作成した指示は比較的簡潔で、以下のような具体的な基準が設けられた： 1. 問題は小学校レベルで、解答には2〜8のステップを含むこと。 2. 計算は暗算可能な単純なもの（例：7*8、36+110）に限定。 3. 最終解答は単一の整数とし、単位は問題文中で明示する。中間ステップでは簡単な小数（例：3.25）を使用可能だが、最終答えは整数とする。 4. 解答では推論過程を明示し（例：「ジェイソンは8/2=4個のリンゴを持つ」）、単に結果（「4個」）だけを書かないこと。 5. 使用する演算は初等算術（＋、－、×、÷）に限る。 6. 問題設定の繰り返しを避け、多様な文脈を確保すること。 Surge AIは、このプロジェクトを通じて、高品質なデータセット作成には二つの要点があると強調する。第一に、詳細すぎる指示書は必ずしも必要ではなく、優れた作業者（ラベラー）を活用すれば、自明な点を延々と規定せずに済む。第二に、現実に即した具体例を示すことが極めて重要である。プロダクトチームの真の課題を理解しないプロジェクトマネージャーが作成する、現実離れした例文や、例文そのものが欠如したガイドラインは役に立たない。 GSM8Kの構築は、AIが複雑な問題（例えばリーマン仮説）を段階的に説明しながら解く能力を培うための第一歩である。質の高いデータが、AIの推論能力の信頼性を支える基盤となるという認識が、この取り組みの根底にある。

Surge AIがOpenAIの8,500問の数学問題データセットGSM8Kを構築した方法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト