#データキュレーションのAIニュース

2件の記事

言語モデルの事前学習における一般化ダイナミクス（17 分読）

研究者らは、言語モデルが事前学習中にパターン模倣と適応的知能の間で予測不能に切り替わる「モードホッピング」現象を解明し、この動的挙動を活用して最適なチェックポイントの選択やデータ選別、一般化性能を予測する指標の開発を提案した。

OpenAIが、大規模言語モデル（LLM）の学習データを管理・精査するためのツールを発表した。このツールは、データ品質の向上とモデル性能の最適化を目的としている。