大規模な生成画像・動画モデルの構築 - Sander Dieleman氏（VeoとNano Banana）

• Google DeepMind開発
• Stability AI競合

1. 01

   データ選定の重要性

   モデルの微調整よりデータキュレーションへの投資が品質向上に不可欠であり、その重要性は過小評価されがちである。

2. 02

   潜在空間と圧縮

   高解像度ビデオのメモリ負荷を軽減するため、オートエンコーダで学習した潜在表現を用い、拡散モデルはこれ上で訓練される。

3. 03

   拡散のスペクトル特性

   拡散プロセスはノイズ付与により高周波を隠蔽し、低周波から順に生成する「スペクトル自己回帰」と解釈できる。

4. 04

   Transformerアーキテクチャ

   U-NetからTransformerへ移行し、LLMのスケーリング法則を流用することで、双方向注意機構による表現力の向上を実現する。

5. 05

   制御信号と条件付け

   カメラ動作などの抽象的な制御信号を、トークン追加や全トークンへのブロードキャスト等方式でモデルに組み込む手法が議論される。

この講演は、画像・動画生成モデルの「黒魔術」的な側面を、スペクトル分析やアーキテクチャ設計という理論的枠組みで解明しており、開発者のモデル理解を深める上で極めて重要である。特に、LLMの知見をビジュアル領域へ転用するアプローチは、マルチモーダルAI開発の標準的なベストプラクティスを示唆しており、業界全体の技術スタックに大きな影響を与える可能性がある。