Hugging Face、LLM 活用学生シミュレータ「StudentSim」発表

AI ターチャラーが最も効果を発揮するのは、各生徒の強み・弱みや好む指導スタイルに合わせて適応できる場合です。しかし、どの指導法がどの生徒に有効かというエビデンスは、実際の学習者から収集するには情報が不足しており、時間がかかり、コストも高いのが実情です。

学生シミュレーターはこの課題に対する代替手段となり得ますが、既存のアプローチには限界があります。状態追跡モデルは学生の行動を模倣することは得意ですが、説明や訂正の処理が苦手です。一方、LLM を用いたロールプレイでは指導に従って流暢に振る舞えますが、模倣対象となる生徒の実力を正確に反映できないという問題があります。

そこで私たちは「StudentSim」というトレーニングフレームワークを発表します。これは、個々の学生データが少ない状況でも、プールされたデータでの事前学習と個別の専門化を経て、個人ごとのシミュレーターを構築するものです。生成されたシミュレーターは、生徒自身の回答を模倣すると同時に、ターチャラーからの指導に応じてその回答を更新することも可能です。

さらに、「StudentSimEval」という標準化された評価プロトコルも導入しました。これはチェス、第二言語としての英語ライティング、数学の 3 つ分野にわたる 60 名の学生を対象としたもので、研究目的で共有されている非識別化済みデータセットを利用しています。

StudentSimEval は、シミュレーターが生徒の回答をどれだけ正確に再現しているかを示す「行動忠実度（F）」と、ターチャラーからの指導に応じてどれだけ柔軟に更新できるかを示す「指導への反応性（R）」という 2 つの指標を測定します。すべての手法は同一のデータレコードに対してフィットされ、評価されます。

3 つの分野すべてにおいて、StudentSim は GPT-5.4 を上回る結果を記録しました。チェスでは、StudentSim が F=0.51、R=0.91 を達成したのに対し、GPT-5.4 はそれぞれ 0.23 と 0.72、Maia2 は 0.45 と 0.27 でした。

Proof of concept として、StudentSim をチューター強化学習の報酬モデルに用いることで、GPT-5.4 シミュレータ報酬に対して訓練されたチューターや RL なしベースラインよりも、熟練した人間がより正確で、導き方が優れており、個別化された評価を下すチェスチューターを実現しました。コードは https://github.com/microsoft/StudentSim で公開されています。