エージェントに必要なのは HTML だけ＝HeyGen の James Russo氏

エージェントに必要なのは HTML だけ：HeyGen が動画生成の未来を「Web 技術」で変える理由

AI エージェントが動画を作成する際、複雑な独自フォーマットや専用言語ではなく、LLM が最も得意とする HTML、CSS、JavaScript を使うべきだと主張する声が上がっています。HeyGen のテックリード James Russo 氏は、このアプローチこそが高品質な動画作成の鍵であり、同社が開発したオープンソースフレームワーク「Hyperframes」がその実現を可能にしていると語ります。

LLM の「ネイティブ言語」として HTML を選ぶ理由

Coding Agent（コーディングエージェント）によってソフトウェア開発は民主化されましたが、製品や機能のローンチに必要な動画制作はまだハードルが高いのが実情です。HeyGen はこのギャップを埋めるため、エージェントに動画を作成させるための「キャンバス」を探求しました。

その答えは HTML でした。Russo 氏はこう説明します。

「HTML、CSS、JavaScript は LLM のネイティブ言語です。LLM が学習するトレーニングデータのほとんどは、スクレイピングされた Web ページであり、裏側で動いているのはすべて HTML と CSS です。」

新しい DSL（ドメイン固有言語）や独自の JSON 構造をモデルに教え込むことは、シェイクスピアに日本語や中国語で詩を書いてもらうようなものだと Russo 氏は例えます。たとえ多くの例示を与えても、それは「母国語」ではないため、最良の出力は得られません。

実際、Remotion のような既存のフレームワークでも試しましたが、「この言語でどう書くか」「このフレームワークのルールを教えること」にエージェントのリソースが割かれ、創造性が削がれてしまうことが判明しました。一方、HTML を使えば、モデルは学習データとして蓄積された膨大な Web データをそのまま活用でき、出力品質が劇的に向上します。

ブラウザの「非同期」を制御する Hyperframes の技術

LLM が HTML を書けるようになったとしても、それを動画（MP4）に変換するのは容易ではありません。Web ブラウザは本来、フォントや画像の読み込みを非同期で行うように設計されており、ページが完全に描画される前に次の処理に進むことがあります。しかし、動画ではフレームごとに一貫した描写が必要であり、読み込み中の途切れや遅延は許されません。

Hyperframes はこの課題に対し、「クロックを凍結」し、フレーム単位で逐次スナップショットを取得する技術を採用しています。

1. クロックの凍結: ブラウザ内の時間経過を一時停止します。
2. 逐次的なシーク: 動画の各フレーム（時刻）に正確に移動させます。
3. 完全な読み込み待機: その瞬間に必要なすべてのリソース（画像、フォントなど）が完全に読み込まれるまで待ちます。
4. スナップショット取得: 画面が完全に描画された状態でスクリーンショットを撮り、次のフレームへ進みます。

このプロセスを繰り返すことで、ブラウザ上で見た通りのピクセルが動画として出力されます。結果として、Three.js、WebGL、シェーダー、チャートなど、ブラウザで描画可能なあらゆる要素を動画に組み込むことが可能になります。

「審美性」を教えるスキルと人間による編集の重要性

Hyperframes の真価は、単なる技術的な変換だけでなく、エージェントに「どうすれば良い動画になるか」というスキルを与える点にあります。LLM はすでに HTML を書けるため、言語そのものを教える必要はありません。代わりに、Russo 氏は「映像の審美性（taste）」や構成を教えることに注力しています。

これにより、単一のプロンプトでも一定以上の品質を持つ動画が生成されるようになりました。しかし、Russo 氏は「素晴らしい出力には職人技が必要だ」とも指摘します。

「AI コーディングと同様に、単一プロンプトで動くものは作れますが、卓越したアウトプットを得るためには、問題を分解し、反復的に作業する『職人技』が必要です。」

そのため、Hyperframes は自動生成された動画をベースとしつつ、人間がキーフレームを調整したり、手動で編集したりできる「スタジオ」機能を提供しています。これはプロのモーションデザイナーが After Effects で行うような制御を可能にするものであり、最近リリースされた「Keyframes」機能では、フレームごとの動きを細かく調整する機能が強化されています。

民主化が進む動画制作のエコシステム

このアプローチはすでに大きな反響を呼んでいます。Hyperframes はオープンソースとして公開され、過去 90 日間で 130 万本以上の動画がレンダリングされ、26.7 万人のクリエイターが利用しています。

Web 技術の標準化により、開発者は既存の Web ツールやライブラリをそのまま動画制作に流用できるため、エコシステムの拡大とイノベーションの加速が期待されます。HeyGen の目指す「動画を通じたコミュニケーションの解決」は、HTML という普遍的な言語を通じて、エージェントによる高品質な動画作成を誰にでも可能にする道を開いたと言えるでしょう。