映像言語モデルに映画の語り方を教える研究

// インターバル修正の注入 jQuery('') .prop('type', 'text/css') .html(` .post-authors { padding-right: 40px; } `) .appendTo('head'); const authors = [ { name: "Zhiqiu Lin", affiliations: ["Carnegie Mellon University"] }, { name: "Chancharik Mitra", affiliations: ["Carnegie Mellon University"] }, { name: "Siyuan Cen", affiliations: ["Carnegie Mellon University"] }, { name: "Isaac Li", affiliations: ["Carnegie Mellon University"] }, { name: "Yuhan Huang", affiliations: ["Carnegie Mellon University"] }, { name: "Yu Tong Tiffany Ling", affiliations: ["Carnegie Mellon University"] }, { name: "Hewei Wang", affiliations: ["Carnegie Mellon University"] }, { name: "Irene Pi", affiliations: ["Carnegie Mellon University"] }, { name: "Shihang Zhu", affiliations: ["Carnegie Mellon University"] }, { name: "Ryan Rao", affiliations: ["Carnegie Mellon University"] }, { name: "George Liu", affiliations: ["Carnegie Mellon University"] }, { name: "Jiaxi Li", affiliations: ["Carnegie Mellon University"] }, { name: "Ruojin Li", affiliations: ["Carnegie Mellon University"] }, { name: "Yili Han", affiliations: ["Carnegie Mellon University"] }, { name: "Yilun Du", affiliations: ["Harvard University"] }, { name: "Deva Ramanan", affiliations: ["Carnegie Mellon University"] }, ]; jQuery('.post-authors').empty(); jQuery('.affiliations').empty(); jQuery('.post-authors').append('Authors '); const affiliationMap = {}; let affiliationIndex = 1; まず、著者の所属機関に一意の番号を割り当てます。 著者ごとの所属リストを走査し、重複する所属があれば同じ番号を付与します。次に、各著者の行を作成します。所属番号のリストを取得し、等価貢献がある場合はアスタリスクを追加して上付き文字として表示します。最後に、すべての著者をカンマ区切りで連結します。 次に、所属機関の詳細情報を表示するセクションを構築します。各所属機関に一意のインデックスを割り当て、その番号と名称をリスト形式で出力します。等価貢献がある場合は、脚注としてアスタリスクを追加します。また、DOI（デジタルオブジェクト識別子）の要素は不要なため削除します。 100 名以上のプロフェッショナルクリエイターと共に動画キャプションパイプラインを構築した 1 年間を通じて、モデルの拡張ではなく、監督機能のスケーリングがいかに重要かを学びました。 著者：リン・チーチュウ、ミトラ・チャンチャリク。CVPR 2026（Highlight、Top 3%）で発表された「人間と AI の監視による精密な動画言語の構築」に基づいています。 現在の動画生成技術は、ハリウッドの撮影監督にどれほど近づいているのでしょうか？ ハリウッドの監督たちは、特定のショットを求めます。それはシーンに重みを持たせ、単なるフラットなカットでは伝えられない観客への感情を喚起するためです。 お気に入りの動画生成モデル（Veo 3.1、Seedance 2、あるいは最新のオープンソースモデルなど）を開き、「混雑する通りの真ん中に立つ男性のドリーズーム」を生成するように指示してみてください。ヒッチコックが世界が内側へ崩れ落ちるような感覚を生み出すために用いたあのショットです。あるいは、コーヒーカップからその背後にいる女性へと焦点を移すラックフォーカスも試してみましょう。これは観客にどこを見るべきかを静かに示す効果的な手法です。さらに、不安げな人物が虚無を見つめるダッチアングル（傾いたフレーム）のショットも可能です。このように枠を傾けることで、視聴者に緊張感を与えます。 しかし、多くの生成モデルは返答として、汎用的なドリーインや、焦点が合っていない被写体のスローモーションクリップのようなものを出力してしまいます。視覚的にはそれなりに成立していても、意図した「こと」は実現できていません。モデルはこれらの技法が含まれた動画を目にしているはずです。ただ、言葉の指示に対してどう行動すべきかを知りません。 私たちはこれが、より広範なギャップの症状だと考えています。映画監督たちは、ショットサイズ、フレーム位置、フォーカスの種類、レンズ歪み、カメラの高さ、映像速度など、共有された精密な語彙を使ってコミュニケーションをとります。しかし、現在のビジョン・ランゲージモデル（VLMs）や、それらを学習させるためのキャプションデータセットには、そのような共通の言語が欠けているのです。 本記事では、CHAI について解説します。これは過去1年間にプロの動画クリエイター100人以上と協力して構築したキャプション作成パイプラインです。ここでいう「キャプション」とは、字幕ではなく、映像の内容・動き・カメラワークを詳細に記述した長文のパラグラフを指します。 CHAI は「Critique-based Human-AI Oversight（批評に基づく人間と AI の監督）」の略称です。既存の動画キャプションデータセットは、通常、撮影シーンを正確に描写するための映画用語を持たないクラウドワーカーが作成するか、あるいは大規模なビジョン・ランゲージモデル（VLM）によって生成されます。後者の場合、文章は流暢で文法やスタイル上の誤りはありませんが、映像に含まれていない物体や動きを記述する「幻覚」が頻発するという問題があります。 CHAI の中心的なアイデアは、この2つのアプローチを組み合わせることです。キャプション作成モデル（例：Gemini-2.5-Pro などの大規模動画言語モデル）が下書きを作成し、訓練された人間がそれを批評します。その後、モデルはその批評に基づいて修正を行います。 本記事では、以下の4 つの問いについて掘り下げます。 1. なぜ VLM は映画用語を含むプロンプトに苦戦するのか？ 2. キャプション作成において、人間とモデルはどのように役割を分担すべきか？ 3. 人間の批評の質は、モデルが学習できる内容に影響を与えるのか？ 4. 訓練データ内のキャプション品質を高めることは、より優れた動画生成モデルにつながるか？ ![image](https://blog.ml.cmu.edu/wp-content/uploads/2026/04/teaser_draft-1024x417.png)図 1. 現在の動画キャプション生成パイプラインにおける 3 つの失敗パターン（上段、赤）と、それに対する私たちのアプローチ（下段、青）。具体的には、厳密な仕様の提示、人間と AI の監督ループの構築、そして出力結果の単純比較ではなく、明示的な好みや批判に基づくトレーニング後の微調整です。 質問 1: なぜ VLM（ビジョン・ランゲージモデル）は映画のようなプロンプトに苦戦するのか？ 最初の自然な仮説として、「これはモデルの能力不足が原因ではないか」と考えがちです。つまり、現在のビジョン・ランゲージモデルは小さすぎて、コンテキスト量が不十分だとか、映画技法を扱うのに十分な量の動画で事前学習されていないためであり、次世代のモデルなら解決するのではないかという見方です。 しかし、2016 年から 2025 年にかけての 8 つの主要な動画・テキストデータセット（ActivityNet Captions、MSR-VTT、DREAM-1K、ShareGPT4Video、PerceptionLM など）を精査した結果、ボトルネックは別の場所にあると考えられます。モデルが学習する動画には視覚的なコンテンツが含まれており、現代の VLM はそれを適切に認識できています。欠けているのは言語です。これらの動画とペアになっているキャプションには、映画技法を正確に記述するための専門用語が含まれていないのです。 私たちの実験では、同じデータをもっと大量に用いてモデルを大きくしても、問題が改善されるのは限定的でした。これは容量の問題ではなく、アノテーションの方針に起因する課題なのです。 調査を通じて、以下の 3 つのパターンが繰り返して現れました： 用語の曖昧さ。キャプションでは、ドリーイン（カメラが物理的に前方へ移動する）とズームイン（焦点距離が変化する）が混同されたり、魚眼レンズによる歪みを「丸い建物」と表現したりしています。 情報の欠落。キャプションはフレーム内の対象物だけを記述し、それ以外の要素をすべて省略します。動きやカメラの揺れ、ピントの変化、ショットサイズなど、時間的な要素やカメラに関する情報はすべて削除されてしまいます。 主観的な描写。「緊張感に満ちた雰囲気のあるショット」といった表現は、モデルが画像データに基づいて具体化できる情報ではありません。 次に考えられるのは、「より慎重なキャプションを書くためにクラウドワーカーを雇えばいいのではないか」という点です。実際に試しましたが、クラウドワーカーでもドリーインとズームインを混同し、ワイドショットを「クローズアップ」と呼んだり、魚眼の歪みを「丸い建物」と表現したりしていました。「見えること」と「それを説明する知識を持つこと」は別問題なのです。 図2：同じ映像クリップに対するクラウドワーカーと専門家の記述比較。クラウドワーカーは空中からの視点や魚眼レンズ、ドリーズームを認識していますが、「バードアイビュー」「丸い建物」「歪み効果」といった日常的な言葉を使ってしまい、モデルがその説明に基づいて行動するために必要な技術用語が使われていません。 最終的に成功したのは、この専門用語の使用が業務に不可欠な人々——撮影監督、撮影ディレクター、モーショングラフィックスデザイナー、VFXアーティスト、ゲームデザイナー、カメラオペレーターなど——を起用することでした。過去1年間、私たちは100名以上のこうした専門家と協力し、構造化されたキャプション仕様書を作成しました。この仕様書は以下の5つの側面から構成されています。 • 被写体（種類、属性、関係性） シーン（構図、ダイナミクス、オーバーレイ、視点） モーション（被写体の動作、相互作用、グループ活動） 空間（ショットサイズ、フレーム位置、奥行き、空間的な動き） カメラ（フォーカスタイプ、被写界深度、安定性、移動、動画速度、レンズ歪み、高さ、アングル） これら 5 つの側面を合わせると、約200の低レベルな視覚プリミティブが含まれます。それぞれに定義と適用ルールが用意されており、注釈作成者が独自の用語を使ってしまうのを防ぎます。注釈担当者は、この仕様書に基づいてタグ付けを行うだけで済みます。 ![image](https://blog.ml.cmu.edu/wp-content/uploads/2026/04/specification-1024x365.png)図 3. 従来のキャプション作成における典型的な課題（左側、赤）と、今回私たちが採用した解決策（右側、青）。この構造化された分類体系は、撮影監督、撮影ディレクター、VFX アーティスト、モーショングラフィックスデザイナー、ゲームデザイナーらと共同で構築されました。また、注釈作成者間で用語の統一性を保つため、注釈ポリシーとトレーニングチュートリアルも用意されています。 ![image](https://blog.ml.cmu.edu/wp-content/uploads/2026/04/overall-1-1024x507.png)図 4. 完全な分類体系。5 つの主要側面があり、それぞれがサブ側面に分解され、さらに視覚的または運動的なプリミティブのセットに基づいています。 取りまとめ：映像言語モデル（VLM）が映画のようなプロンプトに苦戦するのは、学習データに含まれるキャプションに専門家が使う正確な語彙が含まれていないからです。私たちの実験では、モデルやデータの規模を拡大しただけではわずかな改善しか得られませんでした。一方、使用する言語を慎重に指定することで、はるかに大きな差を生むことがわかりました。 質問 2：キャプション作成の作業は人間とモデルでどのように分担すべきか？ 仕様書を作成した後も、長いキャプションを誰が書くのかという課題が残りました。明確な選択肢として「人間」か「モデル」がありましたが、それぞれにはよく知られた限界があります。 人間だけで作成すると、誤字や文法ミスが発生しやすく、イベントの順序が一貫しないといった問題が生じます。また疲労も避けられません。仕様書を確認しながら 1 本あたり 200〜400 語の丁寧な文章を書くのは、非常に疲れる作業であり、コストもかかります。 モデルだけで作成すると、文面は美しく仕上がりますが、残念なことに一定割合のクリップで存在しない物体や動きを自信満々に記述してしまうという欠点があります。また、左と右を混同するケースも頻繁に見られます。 パイロット調査で気づいたのは、失敗のパターンが有用な非対称性を持っているということです。現在の LLM は文章作成において多くの人間よりも優れていますが、特に訓練された人間は、キャプションに「左へ移動」とあるのに被写体が右へ動いているような、動画内の視覚的・運動的な誤りを検出する能力において LLM を圧倒的に上回ります。そこで私たちは、この非対称性を活用したパイプラインを構築しました。モデルが下書きを作成し、人間が批判を加え、モデルが修正するという流れです。これはサウダーズら（2022 年）の要約における自己批判型モデルの概念と似ていますが、長編動画キャプション付けという文脈で適用したものであり、人間が依然として重要な役割を担っています。具体的には、実際の動画に対して根拠のある誤りを検出する作業です。 具体的な手順は以下の通りです。 1. 基本要素の特定。訓練された注釈者が、クリップ内に含まれる視覚的・運動的な基本要素（プリミティブ）にラベルを付けます。 2. 事前キャプション生成。モデルがこれらの基本要素に基づき、仕様に従って長いキャプションを生成します。 3. 批判的レビュー。注釈者が動画と対照しながら事前キャプションを読み込み、誤りや修正すべき点を指摘する批判文を作成します。この批判は正確であること（指摘された箇所が実際に誤っていること）、完全であること（誤りを漏らさないこと）、建設的であること（単に「悪い」と言うのではなく、モデルに対して何をすべきかを指示すること）の 3 つを満たす必要があります。 4. 事後キャプション生成。モデルは批判文を元に下書きを修正します。 5. 洗練。もし事後キャプションがまだ不十分な場合、人間はキャプションを書き直すのではなく、批判文自体をさらに洗練させます。 レビューアー（上位評価者から品質管理役へ昇格した annotators）に、すべての批評と修正後のキャプションを動画と比較して確認させる役割を与えました。これにより、annotators は正確性に基づいて評価され、レビューアーは発見したミスを指摘することで報酬を得られます。モデリングが始まる前のデータレベルで、精度（誤ったものをフラグしないこと）と再現率（誤りを逃さないこと）の両方をインセンティブとして設定しました。 人間の役割を「作成」から「校閲」へシフトさせたことで、想定していなかった副効果も生まれました。各動画にかかる認知負荷が大幅に減り、その結果、200〜400 語程度のキャプションは、人間単独やモデル単独で生成されるものよりも精度が高くなりました。 教訓：LLM と人間には、長尺動画のキャプション作成において非対称な強みがあります。片方を他方で置き換えようとせず、この非対称性を活かしてパイプラインを設計することで、双方にとってより良いキャプションと、持続可能な注釈プロセスを実現できます。 質問 3：人間の批評の質は、モデルが学習できる内容に影響するのか？ このパイプラインでは、各動画に対して「事前キャプション」「批評」「事後キャプション」の 3 つの要素（トリプル）を生成します。これは単なる注釈付きキャプションではなく、同時に 3 つの異なるポストトレーニングタスクに対する教師信号となります。 • キャプション作成：モデルに長く忠実なキャプションを生成させる訓練。 • リワードモデリング：「事前キャプション」と「事後キャプション」をそれぞれ（拒否された回答）、（好ましい回答）としてペア化して学習させる。 • 批評生成：動画とドラフトをもとに、モデル自身が批評文を書くように訓練する。 Qwen3-VL-8B に対して、標準的な教師あり微調整（SFT）を用いて 3 つのフォーマットを同時に学習させました。直接選好最適化（DPO）などの強化学習（RL）手法も試しましたが、完全なトリプレットデータに対する単純な SFT が最も効果的であることが分かりました。詳細な数値は論文をご覧ください。結論として、明示的な選好信号や批判情報を追加することで、テストしたすべての手法で性能が向上しました。 批判情報の質が下流タスクの性能にどう影響するか、あるいは「これは間違っている」という信号であれば何でも機能するのかを確かめるため、アブレーション実験を行いました。クリーンな CHAI による批判を基に、精度、再現率、建設性の各要素を一つずつ意図的に低下させ、微調整後のキャプション生成モデルがそれぞれのタスクでどう振る舞うかを検証しました。 ![image](https://blog.ml.cmu.edu/wp-content/uploads/2026/04/critique_quality-1024x365.png)図 6. 有用な批判には、正確性（指摘された箇所が実際に誤りであること）、完全性（存在するエラーをすべて検出すること）、建設性（単に「悪い」と言うのではなく、何を修正すべきかを示すこと）の 3 つが必要です。どれか一つでも欠けると、下流モデルの性能は低下します。 各バリアントに後学習させた8B Qwen3-VLの結果をTable 1に示します。CaptionとCritiqueのスコアはBLEU-4（0〜100の尺度で、参照テキストとのn-gramの重なり度を測る標準的なテキスト生成指標であり、数値が高いほど人間の参照に近いことを意味します）です。Rewardタスクでは、キャプション生成者が後付けされたキャプションを前付けされたものより高く評価したかどうかの二値精度（偶然一致確率は50%）を報告しています。すべての項目で高いスコアが望まれます。 Critiqueバリアント Acc. Rec. Constr. Caption Reward Critique Blind Gemini-2.5 — — — 10.9 44.5 21.1 Gemini-2.5 — — — 12.7 62.0 26.2 Inaccurate critique（不正確な批判） ✗ ✓ ✓ 12.1 47.1 21.9 Incomplete critique（不完全な批判） ✓ ✗ ✓ 12.5 56.6 28.7 Non-constructive critique（建設的でない批判） ✓ ✓ ✗ 13.4 67.2 32.9 CHAI (with QC) ✓ ✓ ✓ 18.2 89.8 41.7 Table 1. Critiqueの各特性を一度に一つずつ人工的に劣化させた場合の後学習結果。数値が高いほど優れています。参考として、既存モデルに批判生成を行わせてみたケースも比較対象に加えました。(1) Blind Gemini-2.5は、Gemini-2.5を用いてキャプションテキストのみで映像へのアクセスなしに批判を行うもので、言語事前知識に基づくベースラインです。(2) Gemini-2.5は同じモデルですが、完全な映像入力を利用します。CHAI (with QC) は、Question 2のピアレビュー品質管理ステップを含む当社のフルパイプラインであり、批判が正確で、完全かつ建設的であることを保証しています。 3つの点が際立っています： 1. 品質はオプションではありません。3 つの属性（正確性、完全性、建設性）のうちどれか一つでも欠けると、すべての下流タスクに実質的な悪影響を及ぼします。非建設的な批評（「何が悪いのか」を説明する必要がないため収集コストが最も低い）は、他のものほど深刻ではありませんが、それでも性能の大きなギャップを残したままです。 2. 既存のデータは主に非建設的です。Saunders らによる GDC リリースや MM-RLHF など、公開されたデータセット内の批評を確認したところ、私たちの定義する「非建設的」（「これは間違っている」という指摘だけで修正案がない）なものが半数以上を占めていました。これが、そうしたデータセットで学習しても性能が十分に発揮されない理由の一端です。 3. データの質さえ適切であれば、8B モデルでもはるかに大きなクローズドモデルと互角に戦えます。キャプション作成、報酬評価、批評生成の各ベンチマークにおいて、ポストトレーニング後の 8B Qwen3-VL は、報告された指標で GPT-5 や Gemini-3.1-Pro を上回るか同等以上の性能を示しました。モデルサイズは変更していませんが、教師信号（supervision signal）が変わったのです。 小さなボーナスとして、学習済みの報酬モデルは推論時にも役立ちます。訓練した報酬モデルを用いた Best-of-N デコーディングでは、追加の人間ラベルなしで性能をさらに向上させることができます。 結論：批評の形式は単なるスタイルの問題ではありません。キャプション、選好（preferences）、そして批評を同時にポストトレーニングされたモデルは、学習に用いる批評が正確で完全かつ建設的であれば、すべてのタスクで実質的に優れたパフォーマンスを発揮します。逆に、これらの属性のいずれかが欠けていれば、性能は著しく低下します。 質問 4：トレーニングデータ内のより良いキャプションは、より優れた動画生成器をもたらすのでしょうか？ 懐疑的な読者からは「キャプション生成は素晴らしいが、多くの人が本当に求めているのは動画の生成ではないか」という指摘が出るかもしれません。そこで、改善されたキャプショナーが下流の動画生成モデルに実際に効果をもたらすかどうかを検証しました。 プロの映像（映画、広告、ミュージックビデオ、ゲームプレイなど）の大規模コーパスを収集し、ポストトレーニング済みの 8B モデルで再キャプション付けを行いました。その新しいキャプションを用いて Wan2.2 をファインチューニングした結果、市販の生成モデルが苦手とする撮影技法について、詳細なプロンプト（最大約 400 語）への対応が可能になりました。 Figure 7. 当社のポストトレーニング済みキャプショナーが類似の検証用クリップから生成したキャプションを元にした、動画生成器に渡される 2 つの長い生成プロンプト。右側：ゼロショット状態の Wan2.2 はプロンプトを緩やかに解釈し、ドリーズーム（ズームインしながらカメラを移動する技法）が通常のバックドリーに変化したり、等角投影（2.5D）のゲームシーンが汎用的な 3D アークに置き換わったりしています。左側：Wan2.2 を当社のモデルで再キャプション付けしたトレーニング動画でファインチューニングした後では、同じプロンプトを忠実に再現できるようになります。 生成器のアーキテクチャや学習目標を変更したわけではありません。変更されたのは、トレーニングセット内の動画を記述する言語のみです。これだけで、既存の生成モデルが以前は表現できなかった撮影技法のクラスを習得させることができました。 要旨：上位のキャプション語彙をより精密にすることで、同じモデル構造と学習手法でも下流の生成制御性が向上します。映画のような表現を制御する際のボトルネックはモデル自体ではなく、教師データ（監督）側にありました。 議論 このプロジェクトでは当初、キャプショニングモデルを訓練することを想定していました。しかし実際には、1 年の大半をその周辺パイプラインに費やしました。つまり、「何をキャプションにするか」「誰が書くか」「誰がチェックするか」「チェックはどのように行うべきか」といった課題です。モデル自体への貢献は、これらの選択の後に生じる結果のように感じられます。 私たちがもっと早く気づいておくべきだった 3 つのポイントがあります。 • スケーリングより仕様の明確化：ノイズの多いデータで大きなモデルを訓練しても得られる効果は僅かでした。しかし仕様が決まると、小さなモデルでも十分に競争力のある結果が出せるようになります。 • 「クラウドソーシングすればいい」という考えは誤りです。映画技法を正しく注釈付けるには、その分野が既に使っている語彙が必要です。訓練されていない作業者にその語彙を一から発明させることは、訓練された作業者にそれを使わせることの「安価な版」ではありません。 • 批評自体が学習データになります。現在収集している批評の形式が、明日モデルをいかに効果的に訓練できるかを決定します。単なる「高評価/低評価」しか記録しないデータセットでは、学習後の信号を多く見逃しています。 CHAI は、精密な動画言語に関するより長い取り組みの一部です。最も近い関連プロジェクトは、カメラの動きに焦点を当てたベンチマーク「CameraBench（NeurIPS'25 Spotlight）」で、こちらが仕様のカメラ側プリミティブの基盤となりました。 リソースについて 仕様書、トレーニングチュートリアル、注釈プラットフォーム、品質管理フロー、データ、コード、モデルを公開します。ご活用ください。

映像言語モデルに映画の語り方を教える研究

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト