読み込み中…
読み込み中…
生成動画技術が飛躍的に向上した現在、その質の評価（評価基準）が追いついていない「AI Slop」問題が深刻化しています。Character.ai は従来のフレーム単位のスコアリングや大規模 LLM による遅い評価ではなく、ストーリーの整合性や物理法則を重視する新しい評価指標を開発しました。 彼らは人間の注釈を用いて調整した軽量な視覚言語モデル（VLM）を採用し、動画の「良さ」を絶対値で判定するのではなく、A と B の比較を通じてより良いものを検出するアプローチを採用しています。これにより、生成プロセスの初期段階で不具合を検出し、修正コストを劇的に削減できる高速な評価ワークフローを実現しました。 この手法は、大規模な動画生成における品質保証と開発者体験の向上に寄与し、業界全体での評価基準の標準化に向けた重要な示唆を与えています。
単なる生成ツールの紹介ではなく、その「質」をどう客観的に測り、改善するかという本質的な課題に対する実証済みの解決策が語られており、開発者やプロダクトマネージャーにとって必見のコンテンツです。特に比較学習（Pairwise Learning）の応用例は、他のドメインでも即座に適用可能な知見を含んでいます。
生成モデルの進化に対し、ストーリー性や物理法則の整合性を判断する評価手法が追いついておらず、多くの低品質な「Slop」が生まれている。
大規模 LLM は遅くコストがかかるため、3 秒で 15 秒の動画を評価可能な軽量な視覚言語モデル（VLM）を採用し、生成プロセスに組み込んだ。
絶対的な点数付けではなく、A と B のどちらが優れているかを人間が行う「ペア比較」データでモデルを訓練し、主観的な質の判定を一般化した。
人間の動画と AI 生成動画を対比させることで生じるバイアスを避け、エンコーディングや注釈方法を統一することで、純粋な品質評価モデルを構築した。
このアプローチは、生成 AI の実用化において不可欠な「品質保証の自動化」への道筋を示しており、開発者が手作業に頼らずとも高品質な動画コンテンツを大量生産できる基盤技術となります。また、評価基準の標準化が進むことで、業界全体で生成動画の質が向上し、信頼性の高い AI エージェントやエンタープライズ向けツールの実装が加速すると予想されます。
生成 AI の進化により動画作成が容易になる一方で、物理法則の破綻やストーリーの整合性がない低品質なコンテンツ（AI Slop）が溢れるという新たな課題が生じています。Character.ai の Maor Bril氏は、従来のフレーム単位の評価や大規模 LLM による遅い判定に代わり、「比較学習」を採用した軽量な視覚言語モデル（VLM）を開発し、生成プロセスの初期段階で品質を担保する画期的なアプローチを発表しました。
現在、Kling、SeaDance、VEO、Sora といったモデルの進化により、動画生成の質は劇的に向上しています。しかし、その進歩に評価基準が追いついていないのが現状です。
多くのツールでは、Clip Score や LPIPS などの既存指標が使われています。これらは「特定のフレームがプロンプトと一致しているか」「フレーム間のズレを検知できるか」といった点には優れていますが、動画の本質である「物語性が伝わっているか」や「物理法則に従っているか」を判断することはできません。
「動画は単なる画像の羅列ではありません。それは物語を語るメディアです。」
例えば、「キャラクターが階段を下りる」というプロンプトに対し、モデルが浮遊して降りてきたり、指の本数が変わったり、音と映像の同期が取れていない場合、既存の評価指標では「高品質」と判定されてしまうリスクがあります。このため、人間が手作業でチェックするしかなく、コストと時間の制約から大量の高品質生成が困難な状況が続いていました。
以前は、動画の評価に大規模言語モデル（LLM）を「審査員」として使う試みが行われていました。しかし、この手法には明確な欠点がありました。
Character.ai はこれらの課題に対し、軽量な視覚言語モデル（VLM）を評価エンジンとして採用しました。このモデルは、動画の内容を理解しつつも非常に高速に動作します。
「現在、我々のモデルでは 15 秒の動画を約 3 秒で評価できます。」
より大きなモデルを試した結果、精度はわずかに向上しましたが、その分処理速度が大幅に低下しました。開発プロセス全体でのコストと時間を考慮すると、「少しだけ遅い高品質」よりも、「圧倒的に速く十分な精度」を選ぶことこそが実用化への近道であると判断し、軽量モデルを採用しました。
この手法の最大の革新点は、評価基準の設計にあります。従来のように「10 点満点で何点か」という絶対的な点数付けを行わず、「A と B、どちらがより良いストーリーを語っているか」という比較（ペア比較）データを用いてモデルを訓練しました。
人間は特定の動画に 6 点をつけるかどうかで意見が分かれても、2 つの動画を並べて「どちらが優れているか」を選べば、大多数の人が一致する傾向があります。この「相対評価」データを大量に用意し、モデルを学習させることで、主観的な質の判定を一般化することに成功しました。
「絶対的な点数付けではなく、A と B の比較を通じてより良いものを検出するアプローチです。」
また、初期の実装では「映像の美しさ（ゴージャスさ）」や「人工的なノイズの有無」を検知してしまっているという過学習の問題が発生しました。例えば、カメラが全く動かない静止画でも「映画的だ」と判定したり、幽霊が浮遊する不自然な動画でも「物理法則が良い」と評価してしまう現象です。
これを解決するため、「人間の撮影した映像」と「AI 生成の映像」を対比させるデータセットを作成しました。ただし、モデルが単なる「AI 検出器（AI Detector）」に過学習してしまわないよう、両者のエンコーディングや注釈方法を厳密に統一し、純粋な「品質評価モデル」のみを学習させる工夫を行いました。
この高速な評価モデルは、生成プロセスの初期段階に組み込まれることで、その真価を発揮します。動画が完成してから不具合を見つけるのではなく、生成の途中や、短いクリップを繋げる前にエラーを検知するのです。
例えば、キャラクターの顔がフレーム間で微妙に変化している（ドリフト）場合、長い動画として完成させる前に 6 秒程度のクリップ段階で検知し、再生成すれば修正コストは極めて低く済みます。逆に、完成した後に発見すると、全体の再作成が必要になり、膨大なリソースを浪費することになります。
「不具合を早期に発見し、修正するほどコストは劇的に削減されます。」
さらに、この評価モデルを「エージェント（自律型 AI）」のワークフローに統合することで、AI 自身が自分の生成物を検証し、必要に応じて修正を行うサイクルを自動化しています。これにより、ユーザーが独自のキャラクターやストーリーを持つ際にも、柔軟に対応しながら品質を保証できる仕組みとなりました。
Character.ai のアプローチは、生成 AI 業界における「品質保証の自動化」への明確な道筋を示しています。大規模 LLM に依存せず、軽量モデルと比較学習を組み合わせることで、開発者が手作業に頼らずとも高品質な動画コンテンツを大量生産できる基盤が完成しました。
評価基準の標準化が進むことで、業界全体で生成動画の質が向上し、信頼性の高い AI エージェントやエンタープライズ向けツールの実装が加速することが期待されます。今後は「どれだけ速く作れるか」ではなく、「いかに早く高品質なものを生み出せるか」という評価基準へとシフトしていくでしょう。
この記事はAIが動画の内容を記事化したものです。正確な発言は動画および文字起こしをご確認ください。