Sakana AI、球面ブラックボックス最適化の研究発表

ICML 2026 で発表する研究成果「球面ブラックボックス最適化器の架橋（Bridging Spherical Black-Box Optimizers）」をご紹介します。

論文全文：https://arxiv.org/abs/2606.25761

シミュレーターや外部 API を介した最適化、あるいは強化学習において、勾配情報が得られないケースは珍しくありません。ブラックボックス最適化（BBO）はこの課題を解決する手段ですが、これまでの研究分野は大きく二つに分裂していました。

• パラメトリック手法：進化戦略（ES）などのアルゴリズムは高次元へスケーリング可能ですが、解は一つしか見つけられません。
• ノンパラメトリック手法：コンセンサスベース最適化（CBO）などのアルゴリズムは複数の解を見つけられますが、高次元では機能しません。

私たちのチームは、こう問いかけました。「これらは実はすべて同じことをしているのではないか？」

論文では、これらの異なるアプローチが実のところ単一の更新式の変形に過ぎないことを示しました。この理論的なギャップを埋めることで、特定のタスクに合わせたカスタムハイブリッド最適化器を設計することが可能になります。

その応用例として重要なのが、ファウンデーションモデルの統合です。以前の「進化的モデルマージング（Evolutionary Model Merging）」の研究で直面した計算上の課題があります。各ステップで大規模言語モデルの評価を行うのはリソースが膨大にかかりますが、評価に使うデータセットを小さくすると、従来の単峰性最適化器は過学習を起こしてしまいます。

LLM の結合をマルチモーダル問題として捉え、新たに開発したハイブリッド最適化アルゴリズム「AdaPol」と「SchedPol」を導入することで、この課題を克服しました。これらのアルゴリズムは小規模なデータセット上で複数の異なる最適解を特定し、計算コストを大幅に抑えながら、汎用性が高く品質の高い結合を実現することができました。