シミュレーションが支配する理由：AI基準で10%劣るも100倍安価・1万倍高速化

記事の3ポイント

1. 1

   報酬信号の自動化（2022年）

   InstructGPTやConstitutional AIにより、人間の評価に代わりLLMがモデルの出力を採点・批判する「AI-as-judge」が標準化され、評価プロセス全体がモデル間で行われるようになった。

2. 2

   訓練データの合成化（2023年）

   MicrosoftのPhiシリーズやAppleのWRAP、NVIDIAのNemotron-4などにより、教科書品質のデータやウェブ全体をLLMで再構成した合成データが前学習・中学習の主要原料として定着した。

3. 3

   教師モデルの役割変化（2023年）

   StanfordのAlpacaなどが示すように、LLMが生成した指示を用いて小規模モデルを微調整することで、大規模モデルの振る舞いを低コストで再現する手法が確立された。