カリフォルニア工科大学のアニマ・アナンドクマル教授が物理モデルの必要性を語る

数年前、カリフォルニア工科大学のアニマ・アナンドクマール教授は、AI を活用した初のオープンソース気象モデルの開発に着手しました。専門家に意見を求めると、懐疑的な反応が返ってきました。「気象はカオスであり、物理シミュレーションは難解で数十年にわたって開発が続けられてきた。スーパーコンピューターが必要だ。データさえ不足している」というのです。

しかし、アニマは臆することなく開発を続けました。わずか 1 年でチームは「FourCastNet」を開発しました。これは既存の最良の物理ベースシミュレーションと肩を並べる予測モデルです。アニマとその後の研究のおかげで、現在は一般向けの GPU を用いれば誰でも短期間の気象を高精度に予測できるようになりました。

Latent.Space でこれまでに公開してきた約 15 の科学エピソードでは、原子や分子、材料、生物学、数学について取り上げてきました。アニマは、連続的な物理系を研究する先駆者の一人です。気象、核融合、流体や熱の流動など、巨大でカオス的、かつ本質的にマルチスケールな現象は、モデル化が極めて困難な領域です。

この分野は AI コミュニティによってやや軽視されてきましたが、今後急速に成長すると予想しています。今後のエピソードでは、より大規模な物理系についても取り上げていく予定です。

アニマの業績から読み取れるのは、この AI の分野が他の領域で浸透したスケーリングの考え方に抵抗しているという点です。必要なデータが存在しません。多くのドメインにおけるオープンソースデータセットは数万〜数十万例に限定されており、トークン飢餓型のトランスフォーマーが必要とする規模とは程遠いのです。さらに悪いことに、物理学が要求する解像度はコンテキスト長を数百億単位に押し上げます。つまり、単にトークンを増やせば解決できる問題ではないのです。

これは天井ではなく、ただのより緩やかな道です。ここでの進歩は、構造と帰納的バイアスを組み込むことから生まれます。苦い教訓（bitter lesson）を信じている言語モデル研究者の皆様には申し訳ありませんが、この分野では通用しません。

「各次元が数百グリッドポイントであっても、それが産業規模の始まりです……つまり、数百億から1兆に及ぶコンテキスト長について話していることになります。この規模のトランスフォーマーを夢見ても無駄です。世界のすべての計算資源をもってしても足りません」

背後にある数学

これらのシステムに対処するため、アニマは「ニューラルオペレーター」と呼ばれる手法を開拓しました。これは過去10年間で AI にもたらされた最も美しい理論的発展の一つです。この手法を使えば、データと物理法則を組み合わせ、マルチスケールの入力と出力を実現できます。もはやグリッドをモデル化するのではなく、多様なスケールにわたって進化する関数をモデル化するのです。これにより、アニマとそのチームは物理的な直感に基づいた事前知識（priors）を組み込むことが可能になります。

ニューラル演算子とは、すべての層が関数そのものとなるようなニューラルネットワークを指します。

物理的な事前知識が AI モデルにとっていかに有益かを理解するために、地球規模の気象予測という課題を改めて考えてみましょう。地球は球体であるため、正確なモデル化には適切な基底集合、すなわち球面調和関数（Spherical Harmonics）の使用が不可欠です。これをグリッド上で計算するとモデルはすぐに不安定になり爆発してしまいます。しかし、問題に自然に適した基底を用いれば、はるかに長い時間安定して動作し、数日ではなく数ヶ月先までの予測も可能になります。

アニマ・アナンドクマール（Anima Anandkumar）教授が開発したフーリエニューラル演算子（Fourier Neural Operator）は、この周波数領域で直接学習を行います。その球面版である FourCastNet 3 は地球全体の気象をモデル化し、将来にわたって安定して動作し続けることができます。

FourCastNet 3：地球は（ほぼ）球体です。ネットワークに球面調和関数の性質を組み込みましょう。

物理世界には許容の余地がある

アニマはニューラル演算子を他の物理分野にも適用し、驚くべき発見をしました。それは物理世界が予想以上に寛容だということです。核融合においては、数千サンプルでプラズマの乱れを予測でき、従来のシミュレーションよりも100万倍も高速に計算できます。

これはスケーリング（規模拡大）を否定するものではありません。異なるアプローチによるスケーリングです。アニマは最終的に「物理のための基盤モデル」を構築したいと考えています。このモデルは多様な現象を扱い、シミュレーションと設計の両方に対応します。その実現には、存在しないデータを待つのではなく、物理世界がすでに備えている構造を組み込むことが鍵となります。これは始まりに過ぎず、トークン駆動型のAI分野よりも時間がかかるでしょう。なぜなら、物理世界においてトークンは正解ではないからです。

「深層学習で成功した手法はすべて活用しましょう。ただし、より原理に基づいた形に改良するのです」

気象予測はその序章に過ぎません

ニューラル演算子と気象モデルは私の個人的な関心事でした。そのため、このブログ記事やエピソードではこの研究について多くを語ってきました。しかし、アニマの取り組みはそれだけではありません。今回のエピソードでは、アニマによる他の最近の進展もいくつか紹介しています。

アニマは、ニューラルネットワークと自動証明技術を統合する一連の研究を推進しています。その中でも特に注目すべきのが「TorchLean」です。これは、証明支援系ツール Lean の内部で PyTorch 風のネットワークを記述し、それを形式的に検証できる新しいフレームワークです。

この技術は、ニューラルネットワークの性能限界（バウンド）を証明する上で大きな一歩となります。例えば、制御ループの一部として核融合炉にニューラルネットワークを組み込もうとする際など、その重要性は計り知れません。

また、アニマはこのほど国連科学諮問委員会への就任が発表されました。私たちは彼女と、エビデンスに基づいた視点を経済政策や社会政策へどう反映させるかという目標について、そして科学的分野における AI が世界中の人々の生活をどのように向上させうるかについて語り合いました。

このエピソードは、AI や科学に熱心な人なら誰でも楽しめる内容です。洗練された数学の解説もあれば、古典的な調和解析の話題もありますし、現代 AI の根本的な発展や、物理世界をモデル化する実用的な手法についても取り上げています。

ぜひご覧ください！

1. これは AI 予測という一つの分野へと成長した研究であり、今後数ヶ月にわたる本ポッドキャストでもさらに詳しく掘り下げていきます。
2. この論文は非常に洗練されており、技術的な深さを持っています。じっくり時間を割いて研究できる方にとっては、まさに「 nerd snipe（熱狂的な読者を引きつける内容）」と言えるでしょう。
3. 文中のダッシュ（emdash）はすべて人間が手作業で入力したものです。