学習中にAIモデルをより軽量かつ高速にする新技術

大規模な人工知能（AI）モデルの学習は、単にお金がかかるだけでなく、時間、エネルギー、計算資源においても多大なコストを要します。従来、より小さく高速なモデルを得るには、まず大規模なモデルを学習してからそれを切り詰めるか、最初から小さなモデルを学習して性能の低下を受け入れるかのいずれかが必要でした。 MITのコンピュータサイエンス・人工知能研究所（CSAIL）、マックス・プランク知性システム研究所、ヨーロッパ学習・知性システム研究所（ELLIS）、ETH Zurich、Liquid AIの研究者たちは、このトレードオフを完全に回避する新しい手法を開発しました。これは学習後に圧縮するのではなく、学習中にモデルを圧縮する手法です。 この「CompreSSM」と呼ばれる技術は、言語処理から音声生成、ロボティクスに至るまで様々なアプリケーションを支う「状態空間モデル（state-space models）」というAIアーキテクチャのファミリーを対象としています。制御理論から数学的ツールを借用することで、研究者たちは不要なコンポーネントを学習プロセスの初期段階で外科的に除去する前に、モデルのどの部分が貢献しており、どの部分が不要な重荷であるかを特定することができます。 「これは本質的に、モデルが学習する際に小さく、高速になるようにする技術です」と、電気工学・コンピュータサイエンスの博士課程学生でありCSAIL准メンバー、論文の筆頭著者であるMakram Chahineは述べています。「学習过程中、彼らは自身の発展に役立たない部分を排除しているのです。」 この手法の鍵となる洞察は、これらのモデル内の異なるコンポーネントの相対的な重要度が、学習プロセスの初期段階で驚くほど早く安定するという点です。各内部状態がモデル全体の挙動にどの程度寄与しているかを測定する「ハンケル特異値（Hankel singular values）」という数学的量を用いることで、チームは学習プロセスの約10％が完了した時点で、どの次元が重要で、どの次元が無視できるかを確実に順位付けできることを示しました。この順位付けが確立されると、重要性の低いコンポーネントは安全に破棄でき、残りの90％の学習は、はるかに小さなモデルの速度で進行します。 「この研究が興奮を呼ぶのは、圧縮を後回しにする処理から、学習プロセスそのものへと転換する点にあります」と、MIT教授でありCSAIL所長でもあるシニア著者のダニエラ・ラスは述べています。「大きなモデルを学習した後に、それをどのように小さくするかを考えるのではなく、CompreSSMはモデルが学習する過程で自身の効率的な構造を自ら発見させるのです。これは、AIシステムを構築する方法について根本的に異なる視点を提供するものです。」 結果は顕著です。画像分類のベンチマークでは、圧縮モデルはフルサイズのモデルとほぼ同等の精度を維持しながら、最大1.5倍高速に学習できました。元の状態次元のおよそ4分の1に圧縮されたモデルは、CIFAR-10ベンチマークで85.7%の精度を達成しました。これは、同じ小さなサイズからゼロから学習させたモデルの81.8%を上回る結果です。最も広く使用されている状態空間アーキテクチャの1つであるMambaでは、この手法は約4倍の学習速度向上を実現し、128次元のモデルを競争力のあるパフォーマンスを維持しながら約12次元に圧縮しました。 「より大きなモデルの性能が得られます。なぜなら、ウォームアップフェーズ中に複雑なダイナミクスの大部分を捉え、その後最も有用な状態のみを保持するからです」とChahineは述べています。「モデルは、最初から小さなモデルを学習させるよりも高いレベルで動作し続けることができます。」 CompreSSMが既存のアプローチと異なる点は、その理論的基盤にあります。従来のプルーニング手法はフルモデルを学習させた後、事後にパラメータを削除するため、大きなモデルの学習に必要な計算コスト全体を支払うことになります。もう一つの人気のある手法である知識蒸留は、大きな「教師」モデルを完成まで学習し、その上で2番目に小さい「学生」モデルを学習する必要があり、実質的に学習作業が倍増します。CompreSSMは、中間段階で情報に基づいた圧縮判断を行うことで、これらのコストの両方を回避します。 チームは、CompreSSMを2つの代替手法と直接比較するベンチマークを実施しました。コンパクトな状態空間モデルの構築を促す最近提案されたスペクトル手法であるHankel核正則化と比較すると、CompreSSMは40倍以上高速でありながら、より高い精度を達成しました。正則化アプローチは、各勾配ステップで高コストな固有値計算を必要としたため、訓練速度を約16倍遅らせました。さらに、その結果得られたモデルは性能が劣りました。CIFAR-10における知識蒸留との比較では、CompreSSMは高度に圧縮されたモデルにおいて明確な優位性を示しました。状態次元が小さい場合、蒸留されたモデルは精度の大幅な低下が見られた一方、CompreSSMで圧縮されたモデルはほぼ完全な性能を維持しました。また、蒸留では各訓練ステップで教師モデルと生徒モデルの両方への順伝播が必要となるため、小さな生徒モデルであっても、フルサイズのベースラインよりも訓練が遅くなりました。 研究者たちは、ウェールの定理（Weyl's theorem）を適用することで、個々のモデル状態の重要性が訓練中に滑らかに変化することを数学的に証明し、それらの状態の相対的な順位が安定していることを実証しました。これらの知見を組み合わせることで、実践者は、初期段階で無視できると識別された次元が、後になって突然重要になることはないという確信を持てます。 この手法には、実用的な安全ネットも備わっています。圧縮ステップによって予期せぬ性能低下が生じた場合、実務者は以前に保存されたチェックポイントに戻ることができます。「これは、直感的でないエネルギー閾値を定義する必要のある状況ではなく、性能の観点でどれだけのコストを支払うかという制御権を人々に与えます」と、シャヒーンは説明します。 この手法にはいくつかの実用的な限界があります。CompreSSM は、内部状態の次元と全体的な性能の間に強い相関関係が見られるモデルで最も効果的に機能します。この特性はタスクやアーキテクチャによって異なります。この手法は、特に状態の大きさと表現力の関係が最も強いマルチ入力・マルチ出力（MIMO）モデルにおいて効果的です。一方、チャネルごとの単一入力・単一出力アーキテクチャでは、そもそもこれらのモデルが状態の次元変化に対して感度が低いため、得られる恩恵はより限定的です。 この理論は線形時不変システムに最も明確に適用されますが、チームはますます人気を集めている入力依存型・時変アーキテクチャ向けの拡張も開発しています。さらに、状態空間モデルのファミリーは従来のトランスフォーマーに代わる選択肢として関心が高まっている線形注意機構などのアーキテクチャにも及ぶため、適用範囲の潜在的可能性は広大です。 カヒンと彼の共同研究者たちは、この研究を一歩として捉えています。チームはすでにMambaのような線形時間変化するシステムへの拡張を実証しており、今後の方向性としては、CompreSSMを線形アテンション・メカニズムで使用される行列値動的システムへとさらに押し広げ、今日の最大規模のAIシステムの基盤となっているトランスフォーマー・アーキテクチャにこの手法を近づけることが目指されています。 「これは最初のステップでなければなりませんでした。なぜなら、ここで理論は整っており、アプローチも原理的に一貫性を保つことができるからです」とカヒンは語ります。「これは、現在業界で人々が使用している他のアーキテクチャへと拡張するための踏み台となります。」 「カヒンと彼の同僚たちの仕事は、現代のステート・スペース・モデル（SSMs）における圧縮について、興味深く理論的に裏付けられた視点を提供しています」と、本研究に関与しなかったELLIS Institute Tübingenの主任研究者でありMPI for Intelligent Systemsの独立グループリーダーであるアントニオ・オルヴィエートは述べています。「この手法は、これらのモデルのステート次元を学習中に効果的に削減できること、そして制御理論的な視点がこの手続きを成功裏に導き得ることを示す証拠を提供しています。この研究は将来の研究への新たな道を開き、提案されたアルゴリズムは大規模なSSMベースのモデルを事前学習する際の標準的なアプローチとなる可能性があります。」 この研究は、International Conference on Learning Representations 2026（学習表現に関する国際会議）の論文として採択され、今月下旬に発表される予定です。この研究は、Max Planck ETH Center for Learning Systems（マックス・プランクETH学習システムセンター）、Hector Foundation、Boeing、およびU.S. Office of Naval Research（米国海軍研究局）から部分的な支援を受けています。

学習中にAIモデルをより軽量かつ高速にする新技術

背景や根拠まで確認しますか？

調べる

選ぶ

サイト