メモリ制約のあるデバイスでの視覚言語モデルのファインチューニング

メモリ制約のあるデバイスでの視覚言語モデルのファインチューニング 新しいハイブリッド最適化手法により、エッジデバイスがフォワードパスのみを使用して視覚言語モデルをファインチューニングできるようになり、既存技術よりも最大7％高い精度を達成しました。 共有 共有 リンクをコピー ![](https://assets.amazon.science/dims4/default/1e4a4f6/2147483647/strip/true/crop/200x200+0+0/resize/295x295!/quality/90/?url=http%3A%2F%2Famazon-topics-brightspot.s3.amazonaws.com%2Fscience%2Fee%2F5a%2F8eaeca2cdd2c67367f56f234955c%2Ffine-tuning-vision-language-models-on-memory-constrained-devicesqrcode) ファインチューニングされた視覚言語モデル（VLM）は、多くのコンピュータビジョンタスクで顕著な性能を示しています。しかし、ファインチューニング中にモデルの重みを調整する標準的な方法であるバックプロパゲーション（出力誤差から逆方向に働く）は計算コストが高く、リソースに制約のあるエッジデバイスでは非現実的です。 代替案となるのは、フォワードパスのみに依存するファインチューニング戦略であり、計算要件を大幅に低減します。ゼロ次（ZO）推定はそのような方法の一つですが、既存のZOベースのVLMファインチューニング手法は、精度と収束性の点で、バックプロパゲーションベースの学習に比べて依然として著しく劣っています。 大きな課題の一つは、ZOの高い分散です。これにより、推定勾配（学習データのバッチから生じる重み調整の方向）が一貫性がなくノイズの多いものになりがちです。これは学習の動的不安定性を招き、モデルが最適解に収束するのを困難にします。さらに、ZO推定は局所探索的な動的性質を持つ傾向があり、損失関数の地形において、局所的には最適だが大域的には準最適な領域に留まってしまう可能性があります。 今年のニューラル情報処理システム会議（NeurIPS 2025）で発表した論文において、我々はフォワードパスのみを使用してVLMをファインチューニングするための、シャープネス考慮型ゼロ次最適化ハイブリッド手法「SharpZO」を提案します。SharpZOは2段階の最適化プロセスを持ちます：（1）進化戦略を用いて損失関数の地形を滑らかにし、強力な初期化を構築する大域的探索段階、（2）ZOを用いて外れ値の勾配推定を抑制する局所探索段階です。 実験では、SharpZOはZIPやBlackVIPなどのフォワードパスのみの手法の精度を平均最大7％向上させ、いくつかのタスクでは、勾配のバックプロパゲーションを必要とする一次手法であるCoOPの性能に迫りました。 損失関数の地形 モデルと学習データセットが与えられたとき、モデルの取りうるすべてのパラメータ（重みとバイアス）を、学習データに対する対応する損失（誤差）に対してマッピングすることができ、非常に高次元の空間における単一点が得られます。パラメータ設定と損失の関係のグラフは、山（高損失領域）と谷（低損失領域）を持つ地形として想像できます。学習の目標は、パラメータ設定を地形の最も低い谷底に向けて導くことです。 完全な地形を計算することは困難ですが、特定の位置（パラメータ設定のセット）が与えられれば、その局所的な傾斜の方向（勾配）を計算し、損失を下り坂方向に押し出すことが可能です。それがバックプロパゲーションの仕組みです。 ZOは、地形上の様々な近傍点で損失をサンプリングすることによって、局所勾配を計算するのではなく推定する方法です。しかし、ZO推定の高い分散により、地形は実際よりもよりギザギザに、あるいはより鋭く、より多くより高い山を持つように見えてしまいます。これにより、最適化アルゴリズムが局所最小値（損失が大域的最小値よりも実際にはかなり大きい局所的な谷）に留まってしまう可能性が高まります。 我々のアプローチは、進化アルゴリズム（具体的には、シャープネス考慮型共分散行列適応進化戦略：CMA-ES）を使用して損失関数の地形の鋭さを滑らかにすることです。その後、わずかに修正したZOアルゴリズムを使用して大域的最小値を見つけます。 ![](data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZlcnNpb249IjEuMSIgaGVpZ2h0PSI0MTRweCIgd2lkdGg9IjEyMDBweCI+PC9zdmc+) SharpZO手法の概要。（a）2段階最適化プロセスからなる全体の学習パイプライン。（b）第1段階のシャープネス考慮型CMA-ES最適化後の滑らかになった損失関数地形の可視化。（c）シャープネス考慮型CMA-ES手法の学習動態。（d）第2段階における疎なZO学習中のランダム化勾配推定（RGE）。 CMA-ESは、局所勾配だけでなく、取りうるすべてのパラメータ値の集合全体にわたる損失の分布を推定します。また、分布の共分散行列（パラメータ値間の相関関係を記述する行列）も推定します。分布の平均と共分散行列の値は、学習の各ラウンド後に更新されます。 我々は通常のCMA-ESアプローチを修正し、損失関数に追加の項を含めます。この項は、現在の分布と共分散行列の推定値に基づいて、モデルが被りうる最悪の損失を考慮します。この項を最小化することは、推定される損失関数の地形を滑らかにするのに役立ちます。 CMA-ESを適用した後、修正された疎なZOアルゴリズムを使用して、より洗練された局所探索を行います。従来の疎なZOは、大きさの小さい項を捨てることで勾配推定の次元を削減します。我々はこの手順を、勾配ベクトルをその平均と標準偏差に従って正規化することで修正し、これもまた損失関数の地形を滑らかにするのに役立ちます。 我々は、様々なバックボーンを持つCLIPモデルを使用して、11の多様な下流タスクでSharpZOを評価しました。ZIPやBlackVIPなどのフォワードパスのみの手法に対して平均7％の精度向上を達成し、CoOPと競合する性能を示したことに加えて、我々の手法は大幅に高速な収束を実現します。例えば、ImageNetデータセットでは、SharpZOは目標精度に15.3分で到達しましたが、ZIPでは19分、BlackVIPでは170分かかりました。 SharpZOは、勾配の保存を回避することでメモリフットプリントを削減するだけでなく、この効率性が精度の犠牲を伴わないことを保証します。また、我々の手法は分布シフトに対して頑健であり、スケッチの認識（ImageNet-Sketch）や画像の敵対的例（ImageNet-A）などの分布外タスクにおいて、ベースラインよりも優れた性能を示すこともわかりました。 現在、SharpZOはプロンプトチューニングに最適化されており、学習可能なパラメータ数は比較的少なく、フルモデルのファインチューニングへのスケーリングは今後の課題です。さらに、シャープネス考慮型CMA-ESウォームアップ段階には座標ごとの勾配推定（CGE）が必要であり、高次元設定では計算コストが高くなる可能性があります。これにより、SharpZOはパラメータ効率的ファインチューニング（PEFT）の適任候補となります。 謝辞：この研究はAmazon-UCSBコラボレーションの一環として行われました。Zheng Zhang、Jimmy Kunzmann、Denis Filimonovの各氏からの意見と貴重な議論に感謝します。 機械学習 コンピュータビジョン 視覚言語モデル（VLM） 学習アルゴリズム

メモリ制約のあるデバイスでの視覚言語モデルのファインチューニング

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト