2件の記事
研究者らは、言語モデルが事前学習中にパターン模倣と適応的知能の間で予測不能に切り替わる「モードホッピング」現象を解明し、この動的挙動を活用して最適なチェックポイントの選択やデータ選別、一般化性能を予測する指標の開発を提案した。
OpenAIが、大規模言語モデル(LLM)の学習データを管理・精査するためのツールを発表した。このツールは、データ品質の向上とモデル性能の最適化を目的としている。