混合から専門領域への言語モデルの最適分割
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Apple Machine Learning
研究チームが、言語モデルの事前学習後に専門データで特殊化する標準手法を、複数領域設定で最適に分割する方法を提案した。ICLR 2026ワークショップで採択された。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
本論文は、ICLR 2026 にて開催された「基盤モデルにおけるデータ問題のナビゲーションと対応」ワークショップにて採択されました。
言語モデルは、利用可能な事前学習データの規模と多様性により、様々な知識・言語・推論タスクにおいて印象的な性能を発揮します。標準的なトレーニングレシピは 2 つの段階からなるパラダイムです：まず完全なコーパス全体で事前学習を行い、その後、完全なコーパスから抽出された高品質かつ専門的なデータの一部に対して専門化を行います。マルチドメイン設定においては、これは各専門ドメインにおいて複数のモデルを継続的に事前学習することを意味し、これを…
原文を表示
This paper was accepted at the Workshop on Navigating and Addressing Data Problems for Foundation Models at ICLR 2026.
Language models achieve impressive performance on a variety of knowledge, language, and reasoning tasks due to the scale and diversity of pretraining data available. The standard training recipe is a two-stage paradigm: pretraining first on the full corpus of data followed by specialization on a subset of high quality, specialized data from the full corpus. In the multi-domain setting, this involves continued pretraining of multiple models on each specialized domain, referred…
関連記事
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み