Apple、動画生成を高速化する新技術発表

記事の3ポイント

1. 1

   計算ボトルネックの特定

   拡散モデルで使用される大規模なトランスフォーマーベースバックボーンにおいて、時空間アテンションが実行速度のボトルネックとなっていることを指摘する。

2. 2

   無効な接続の発見

   多様な入力に対してトークン間接続のスコアの大部分が無視できる値を示し、そのパターンがクエリ間で反復することを特定した。

3. 3

   計算省略の可能性

   上記の無効な接続や局所的なトークンブロック間の計算を省略しても、生成結果にほとんど影響がないことを示す観察結果を発表する。