#modular ai のAIニュース

個別訓練、統合結合：Mixture-of-Expertsを用いたモジュール化ポストトレーニング

Google ResearchはBAR手法を提案した。これは言語モデルの能力ごとにドメイン専門家を独立して訓練し、単一のMoEモデルに統合するプロセスである。この手法により、特定の専門家のアップグレードが他の専門家に影響を与えずに行える。