継続学習の新たなパラダイム:パラメータ中心から多様な更新手法へ
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
本研究は継続的学習の枠組みをパラメータ中心からシステムレベル適応へ移行させるための「いつ・どのように・どこで」学習が行われるかという三軸分析を提供し、従来のモデル適応観を超えた新たな技術潮流を体系的に整理する。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るAI深層分析を開く2026年8月12日 13:02
AI深層分析
キーポイント
パラメータ中心からシステムレベルへの転換
従来の継続的学習がパラメータの更新やアーキテクチャ設計に焦点を当てていたのに対し、現在のパラダイムはメモリやスキルライブラリなどの外部コンポーネントを含め、モデル能力の進化的境界を広げている。
学習の三軸分析フレームワーク
学習が「いつ(When)」(事前・事後・推論時)、「どのように(How)」(オンポリシー・オフポリシー・勾配最適化外)、「どこで(Where)」(内部パラメータ内・外部構造制約内)行われるかを定義する三軸フレームワークを提示している。
推論時学習とオンポリシー学習の台頭
従来の訓練フェーズに限定されていた継続的学習が、推論時のトレーニング(test-time training)やオンポリシー学習へと拡張され、動的な環境適応が可能になっている。
今後の課題と方向性の議論
このパラダイムシフトに伴う主要な技術的課題、広範な影響、および将来の研究方向性について体系的に調査し、議論を行っている。
重要な引用
Collectively, these developments indicate a transition from parameter-centric learning toward system-level adaptation.
To characterize this transition, we examine the evolution of continual learning through three dimensions: When, How, and Where learning occurs.
編集コメントを表示
編集コメント
この論文は、継続的学習という分野が単なるモデルの微調整から、より広範なシステム設計へとパラダイムシフトしている過程を明確に定義した。特に「推論時トレーニング」や「外部メモリ」への言及は、実運用におけるモデルの柔軟性を高める上で重要な示唆を含んでいる。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
従来の継続的学習(CL)は、主にパラメータ中心のメカニズム、つまりトレーニング戦略やアーキテクチャ設計、重みの適応を通じてモデルが知識を更新し保持することを可能にすることに焦点を当ててきました。しかし、新たなパラダイムがこの伝統的なモデル適応の枠組みを超えて CL の範囲を再定義しつつあります。
例えば、オンポリシー学習は更新メカニズムの空間を広げます。テストタイムトレーニングは CL をトレーニングフェーズから推論段階へと拡張します。さらに、メモリやスキルライブラリ、インタラクションプロトコルといった外部のハーンネスコンポーネントが、モデルの能力を進化させる境界を静的なパラメータ空間の遥か彼方まで広げています。
これらの進展は総じて、パラメータ中心の学習からシステムレベルへの適応へと移行していることを示しています。この移行を特徴づけるため、継続的学習の進化を「いつ(When)」「どのように(How)」「どこで(Where)」学習が行われるかという 3 つの次元を通じて考察します。「どのように」の次元には、オフポリシー、オンポリシー、そして勾配最適化を超えたメカニズムが含まれます。「いつ」の次元は、事前学習、事後学習、推論時といった段階における進化を捉えます。一方、「どこで」の次元は、内部パラメータ内での更新と外部構造制約下での更新を区別して描き出します。
この 3 軸フレームワークを基盤に、我々は代表的な手法を体系的に調査し、継続的学習における進行中の移行を追跡するとともに、このパラダイムシフトが生み出す主要な課題、広範な影響、そして将来の方向性について議論します。
原文を表示
Classical continual learning (CL) has primarily focused on enabling models to update and retain knowledge through parameter-centric mechanisms, e.g., training strategies, architectural designs, and weight adaptation. However, emerging paradigms are reshaping the scope of CL beyond this traditional model adaptation view. For instance, on-policy learning broadens the space of update mechanisms; test-time training extends CL from the training phase to inference; and external harness components such as memory, skill libraries, and interaction protocols extend the evolutionary boundaries of model capabilities far beyond the static parameter space. Collectively, these developments indicate a transition from parameter-centric learning toward system-level adaptation. To characterize this transition, we examine the evolution of continual learning through three dimensions: When, How, and Where learning occurs. The How dimension encompasses off-policy, on-policy, and beyond-gradient optimization mechanics. The When dimension captures evolution across pre-training, post-training, and inference-time stages. The Where dimension delineates updates occurring within internal parameters versus external structural constraints. Anchored by this tri-axial framework, we systematically survey representative methods, trace the ongoing transition of continual learning, and discuss the key challenges, broader implications, and future directions arising from this paradigm shift.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み