Hugging Face、動画世界モデル「HelloWorld」を公開し対話機能を追加
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
AlayaLab は、ユーザーのボタン操作に応じて画面内のキャラクターが視線を向けたり挨拶したりする社会対話機能を可能にする「HelloWorld」という動画世界モデルを発表した。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るAI深層分析を開く2026年8月10日 14:00
AI深層分析
キーポイント
ワンボタンによる直感的な対話機能の実装
ユーザーは単一のボタンを押すだけで、画面内のキャラクターにカメラに向きを変えたり、手を振ったり、挨拶をさせたりする社会対話を開始できる。
自己蒸留パイプラインによる自然な学習
モデル自身が生成したデータを用いてファインチューニングを行う自己蒸留パイプラインを採用し、カメラの動きと社会対話の両方を学習させることで品質を維持している。
トレーニング不要の時間的制御モジュール
推論時にトレーニング不要のモジュールを導入し、ボタン押下時のみクロスアテンションマスクを調整することで、キャラクターの応答を特定の時間枠に正確に局在化させる。
新評価ベンチマーク「HelloWorldBench」の構築
400 サンプルからなるベンチマークと、社会対話に関する 3 つの指標および従来の 3 つの指標を併用した評価体系を整備し、既存モデルを上回る性能を検証した。
重要な引用
With a single button press, users can prompt the on-screen character to respond toward the camera
we propose a self-distillation pipeline that finetunes the video generation model on data synthesized by itself
HelloWorld surpasses a variety of baselines in interaction quality
編集コメントを表示
編集コメント
動画生成技術が単なる映像作成から、ユーザーとの双方向コミュニケーションを可能にする段階へと進化していることを示す重要な一歩である。特にトレーニング不要の制御手法は、実用化における導入コストと柔軟性の面で注目すべき成果と言える。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
動画生成の世界モデルは近年目覚ましい進歩を遂げていますが、ユーザーと世界内のキャラクターとの社会的な相互作用はまだサポートされていません。このギャップを埋めるため、私たちは「HelloWorld」という、世界内のキャラクターとの社会的相互作用を可能にする動画世界モデルを発表します。
ボタンを押すだけで、画面上のキャラクターがカメラに向かって反応するよう指示できます。例えば、視聴者の方を向く、手を振る、うなずく、短い挨拶をするといった動作です。
これらの相互作用を自然なものとするため、私たちは自己蒸留パイプラインを提案します。これは動画生成モデルを、自身が合成したデータで微調整する手法です。各合成クリップには社会的相互作用とカメラの動きの両方が含まれており、これによりモデルは相互作用の質を低下させることなく、カメラポーズの条件付けを学習できます。
推論時にはさらに、トレーニングフリーのモジュールを導入して、相互作用が発生するタイミングを決定します。ボタンが押された際、このモジュールは DiT のクロスアテンションマスクを調整し、関連するテキストプロンプトが「押し窓」内のフレームのみを対象とするようにします。これにより、キャラクターの反応を時間的に局在化させます。
評価のため、「HelloWorldBench」というベンチマークも構築しました。これは 400 サンプルから成り、3 つの社会的相互作用指標と従来の 3 つの指標を組み合わせています。
実験結果は、HelloWorld がさまざまなベースラインを上回る相互作用品質を示す一方で、最先端の画像美しさとカメラポーズ追従能力を維持していることを示しています。プロジェクトページ:https://github.com/AlayaLab/HelloWorld
原文を表示
Despite the remarkable recent progress of video world models, social interaction between users and the characters within these worlds remains unsupported. To fill this gap, we present HelloWorld, a video world model that enables social interaction with in-world characters. With a single button press, users can prompt the on-screen character to respond toward the camera, e.g., turning to the viewer, waving, nodding, or speaking a short greeting. To make these interactions natural, we propose a self-distillation pipeline that finetunes the video generation model on data synthesized by itself. Each synthesized clip contains both social interactions and camera motion, allowing the model to learn camera-pose conditioning without degrading interaction quality. At inference, we further introduce a training-free module that determines when the interaction occurs. Upon a button press, it modulates the cross-attention masks of the DiT so that the interaction-related text prompt attends only to the frames within the press window, temporally localizing the character's response. We further build HelloWorldBench, a 400-sample benchmark with three social interaction metrics alongside three conventional metrics, for evaluation. Experiments demonstrate that HelloWorld surpasses a variety of baselines in interaction quality, while maintaining state-of-the-art picture aesthetics and camera-pose following. Project page: https://github.com/AlayaLab/HelloWorld
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み