Hugging Face、動画世界モデル「HelloWorld」を公開し対話機能を追加

記事の3ポイント

1. 1

   ワンボタンによる直感的な対話機能の実装

   ユーザーは単一のボタンを押すだけで、画面内のキャラクターにカメラに向きを変えたり、手を振ったり、挨拶をさせたりする社会対話を開始できる。

2. 2

   自己蒸留パイプラインによる自然な学習

   モデル自身が生成したデータを用いてファインチューニングを行う自己蒸留パイプラインを採用し、カメラの動きと社会対話の両方を学習させることで品質を維持している。

3. 3

   トレーニング不要の時間的制御モジュール

   推論時にトレーニング不要のモジュールを導入し、ボタン押下時のみクロスアテンションマスクを調整することで、キャラクターの応答を特定の時間枠に正確に局在化させる。