ボコニー大学と OpenAI、ChatGPT と批判的思考訓練の相補的効果を実証

学生が ChatGPT を実社会の課題に活用するとどうなるのか。成果の質は向上する一方で、独自性は損なわれるのだろうか。

ボコニー大学と OpenAI 経済研究所が共同で実施した新たな実験では、ChatGPT の利用と批判的思考トレーニングがそれぞれ明確かつ相補的な効果をもたらすことが明らかになりました。ChatGPT にアクセスできることで学生の成果の質や一貫性が向上する一方、因果推論という批判的思考の一形態を通じて訓練を受けた学生は、より独自性の高いアイデアを生成するようになりました。両方の要素を提供された学生からは、これらの効果が両方とも確認されました。

また、この結果は、学生の進捗を評価する際に包括的なアプローチが重要であることを浮き彫りにしています。AI の活用により学生が洗練された回答を作成しやすくなる中で、課題自体も独自性など他の望ましい資質を測定できるよう適応させる必要があるかもしれません。

AI が専門性のギャップを埋める手助けに

実験では、ボコニー大学の1年生約 1,000 名が、大学内のグッズストア向けマーケティング推奨策を開発する実社会のビジネスケースに取り組みました。

学生は授業時間ごとにランダムに4つのグループに分けられ、それぞれ以下のいずれかの条件を受けました。ChatGPT（GPT‑4o）へのアクセス、因果推論のトレーニング、その両方、あるいはどちらもなしです。ここでいう因果推論とは、原因と結果を結びつけ、特定の解決策がなぜ機能するかもしくはしないかを説明するための批判的思考の一種です。学生が行ったトレーニングはAIに関するものではなく、ゲームや事例、質問、フィードバックを含む演習を通じて因果推論の概念を教えるものでした。

学生の提出物は訓練された人間による採点者によって5段階の評価基準で評価されました。一方、研究者たちは自動テキスト分析を用いて、各提出物に含まれるアイデアの数と多様性、因果推論の兆候、そして3人の専門家が作成した提出物との類似度を測定しました。

ChatGPTを利用できた学生は、5段階スケールでほぼ1ポイント高い評価を受けました。彼らの回答にはより多くのアイデアが含まれており、論理が明確で、専門家による推奨事項に近い内容でした。つまり、AIは初心者がよりプロフェッショナルな成果物を生み出すのを助けたのです。重要なのは、学生が単に課題をChatGPTに丸投げしたわけではないことです。何を質問するかを決め、回答を評価し、最終的な提出物に何を含めるかを選ぶのは依然として学生自身でした。

批判的思考トレーニングは別の形で役立った

この批判的思考の演習は、予期せぬ結果をもたらしました。演習を完了した学生たちは、自分のアイデアがなぜ機能し、いつ失敗する可能性があるのかをより明確に説明できるようになりました。しかし、採点基準での得点は向上しませんでした。この基準は、提案が「大学の店舗への認知度向上」と「利用促進」という2 つの標準的なマーケティング目標をどの程度達成しているかという点のみを評価していたためです。

テキスト分析からは、採点基準では捉えきれなかった別の利点も浮かび上がりました。グループ全体を通じて、演習を完了した学生たちは、同僚たちが生み出したアイデアと比較して、より多様な範囲のアイデアを生み出し、それらはより明確に区別されていました。これは重要です。なぜなら、この実験で用いられたような従来の採点基準は、明確で構造化された回答を評価する一方で、他者が思いつかない独自のアイデアを学生が考案したかどうかを見逃す可能性があるからです。

AI のアクセスは思考力を補完する

教育における議論を、「学生が自分自身で考えることを学ぶべきか、それとも AI を使うことを学ぶべきか」という二者択一として捉えたくなるのは当然です。

この実験は、両方が異なる方法で価値があることを浮き彫りにしました。AI の利用により、学生たちは洗練され、アイデアに富み、論理的に一貫性のある回答を生産できるようになりました。一方、批判的思考の訓練は、より多様な独自なアイデアを開発し、前提を問い直し、なぜ自分のアイデアが機能するべきかを説明することを促しました。

これらは互いに補完し合うものです。

ChatGPT の利用とクリティカル・シンキング（批判的思考）の訓練の両方を受けた学生は、それぞれのメリットを享受しました。彼らのアイデアの多様性は、訓練のみを行った学生のレベルに匹敵し、評価基準での得点やアイデアの数も ChatGPT 利用のみだった学生と同程度でした。しかし、その成果物には論理的な整合性が高く、説明を探そうとする姿勢や前提への疑問がより明確に見られました。総合的に見ると、このグループは最も幅広い測定項目で向上を示しました。

この実験の無作為割り当て（ランダム化）デザインにより、研究者らは ChatGPT の利用効果とクリティカル・シンキング訓練の効果、そして両者を組み合わせた効果をそれぞれ分離して分析することができました。これは、AI が学生に与える影響や、学習をどう構造化し支援すべきかという急速に拡大する研究領域において、特に有用な貢献と言えます。

学校が直面する課題

この訓練が学生にもたらした効果と、従来の評価基準で捉えられた結果との間に乖離があることは、学校全体が抱えるより広範な課題を示唆しています。

もし AI が学生に洗練された専門家並みの成果を生み出せるなら、最終的な答えだけを見ても、学生が本当に何を理解しているかは測れません。

多くの教育関係者はすでに、課題や評価方法の見直しが必要であるという含意と格闘しています。これは、現代社会で必要なスキルを育むために技術と教育が数十年にわたって共に進化してきたというパターンに沿ったものです。

これらの結果は、最も一般的で洗練された答えだけでなく、独自性や推論、複数のアプローチへの配慮を反映した成果を生み出した学生に報奨を与えることの重要性を浮き彫りにしています。

まとめ: AI は学生の回答の質を高めるのに役立ちました。一方、批判的思考トレーニングは学生の考えの幅を広げました。この 2 つは、学生が未来に備えるために補完的な役割を果たします。