Apple、生成言語モデル事前学習に拡大・剪定パイプラインを提案

大規模言語モデルの急速な発展により、限られた推論リソースの中で効率的かつ実用可能なモデルを構築する必要性が高まっています。構造化プルーニングパイプラインは、ゼロからターゲットサイズのモデルを訓練する場合と比較して、トークン効率性の面で有望な結果を示しています。

本論文では、従来の研究で軽視されがちだった「拡張されたモデルの事前学習」をプルーニングプロセスに組み込むことを提案します。私たちは、「拡大と剪定」のパイプラインを統合システムとして捉え、以下の2つの重要な問いに取り組んでいます。すなわち、モデルが最終的にデプロイされない場合でも、拡張されたモデルを事前学習する価値はあるのか、そしてどのように最適化すべきかについてです。