#事前学習のAIニュース

7件の記事

データフィルタリングに関する苦い教訓（1 分読了）

TLDR AI は、計算資源が豊富でデータが不足している環境では、大規模モデルの事前学習においてデータフィルタリングを行わないことが最適であることを示す新しいスケーリング研究を報告した。

研究者らは、言語モデルが事前学習中にパターン模倣と適応的知能の間で予測不能に切り替わる「モードホッピング」現象を解明し、この動的挙動を活用して最適なチェックポイントの選択やデータ選別、一般化性能を予測する指標の開発を提案した。

研究チームが、マルチモーダル事前学習のための計算効率的なデータ混合最適化フレームワーク「MixAtlas」を提案した。従来の単一視点の手法を超え、不確実性を考慮した混合最適化により、サンプル効率と下流タスクの汎化性能を向上させる。

OpenAIのサム・アルトマンCEOが、次世代AIモデル「Spud」の事前学習を完了し、経済を「本当に加速できる」非常に強力なモデルであると内部で示唆した。

xAI社が、高度な推論能力と大規模事前学習知識を融合させた最先端モデル「Grok 3」の早期プレビューを発表した。

著者が2024年下半期（7月〜12月）のAI研究をまとめ、専門家混合モデルや大規模言語モデルの精度に関する新たなスケーリング法則など多様なトピックを紹介している。

Google Researchの研究者が、映像理解のための基盤的視覚エンコーダ「VideoPrism」を発表した。このモデルは多様な映像タスクに対応し、映像分析技術の汎用性向上を目指している。