ダイアログブースト：AmazonがAIでテレビ番組や映画の会話を強化する方法

Dialogue Boost：Amazon が AI を活用してテレビや映画のセリフを強化する方法 新しいオーディオ処理技術により、数百万人の視聴者にとってエンターテインメントがよりアクセスしやすくなっています。 会話型 AI Yuzhou Liu, Trausti Kristjansson 12 月 10 日 午前 10:22 Amazon では、選択された Echo スマートスピーカーおよび Fire TV デバイスで利用可能な、新しい AI 搭載の Dialogue Boost（ダイアログブースト）技術をご紹介できることを嬉しく思います。Dialogue Boost は、映画やテレビ番組のセリフの明瞭さを向上させると同時に、背景音楽や効果音を適応的に抑制します。機械学習と高度なオーディオ分離技術のおかげで、Dialogue Boost を利用すれば、視聴者は音量を最大限に上げることなく、お気に入りのテレビ番組、映画、ポッドキャストの会話を聞き取ることができます。Dialogue Boost はすべての顧客の視聴体験を向上させるものですが、特に世界的に聴覚障害を抱える約 20% の人々にとって有用です。 ![image](https://assets.amazon.science/b4/ca/b036be414d479118bef24d24e573/tabletwithdialogueboostmenu.jpeg) Dialogue Boost のメニュー。もともと 2022 年に Prime Video で発売されたこの新機能は、ディープニューラルネットワークの圧縮に関する画期的な進歩を活用してデバイス上で直接動作するため、Netflix、YouTube、Disney+ を含むすべてのメディアで利用可能になりました。 映画鑑賞のための明瞭なセリフ 聴覚に障害がある人にとって、映画やテレビ番組全体の音量を上げてもセリフが明確になるわけではありません。音楽やその他の背景音も同時に増幅されてしまうためです。この問題の解決策として、多くの人がクローズドキャプション（字幕）を使用していますが、すべての顧客にとってこれが最適な視聴スタイルとは限りません。 映画における聞き取りにくいセリフの問題は、過去 10 年間で悪化しています。その一因として、現代の劇場や家庭用サウンドシステムの複雑さと多様性が増していることが挙げられます。つまり、すべての再生設定でうまく機能する単一のミックスが存在しないのです。 例えば、ハリウッドのサウンドエディターは、前方からセリフチャンネルが、側方から効果音が鳴るなど、数十チャンネルを備えた劇場システムを対象にミックスを行うことがあります。しかし、テレビ版では、効果音、音楽、セリフがすべて同じチャンネルにダウンミックスされるため、何を言っているのかを理解することがさらに困難になります。 音声ソース分離 顧客体験を向上させるためには、音楽や効果音を抑制しつつ会話を強化する方法が必要だと私たちは気づきました。これを実現するために、複数の段階でオーディオを処理するサウンドソース分離システムを使用しています。 第一段階は分析であり、入力されるオーディオストリームが時間周波数表現に変換されます。これは、異なる周波数帯域におけるエネルギーを時間に対してマッピングするものです。 次の段階では、さまざまな言語、アクセント、録音状況、効果音の組み合わせ、背景ノイズなどを含む数千時間の発話条件でトレーニングされたニューラルネットワークが使用されます。このモデルは、時間周波数表現をリアルタイムで分析し、音声と他の音を区別します。 ![image](https://assets.amazon.science/a3/ad/1780e21e460d843a834c636035c1/dialogue-boost-dnn-separation-model.png) Dialogue Boost 深層ニューラルネットワーク分離モデル。Dialogue Boost を Fire TV Stick や Echo スマートスピーカーに搭載するために、チームが実現した2つの重要な革新があります。それは、オーディオを周波数サブバンドで処理するより効率的な分離アーキテクチャと、モデル自身がラベル付けしたデータに対してファインチューニングを行う擬似ラベリング（pseudo-labeling）に依存するトレーニング手法です。 多くの既存のネットワークは、LLM のトークンシーケンスモデリングと同様の時間的シーケンスモデリングを通じてすべての周波数コンテンツを一度に処理しており、これは計算集約的なアプローチです。 オーディオスペクトラムを周波数サブバンドに分割することで推論を並列化でき、各サブバンドは時間軸方向のみを処理すればよいため、計算タスクが大幅に簡素化されます。また、サブバンドを統合する軽量なブリッジングモジュールを実装し、帯域間の一貫性を向上させました。 このアーキテクチャにより、当社のモデルは以前の最先端性能を達成または上回り、はるかに大規模なモデルと競合しながらも、必要な演算量は 1% 未満、モデルパラメータ数は約 2% で済みます。 これまでの多くの先行研究では、トレーニングが音声、背景音、効果音の合成ミックスに大きく依存していました。しかし、この合成データはライブ放送や音楽イベントなど、すべての実世界条件を網羅していませんでした。 最近のマルチモーダル大規模言語モデル（LLM）のトレーニングに関する研究に触発され、最先端モデルが疑似ラベリングパイプラインから恩恵を受けることを踏まえ、実メディアコンテンツに対してトレーニングターゲットを生成するシステムを作成しました。これにより、これらの稀なシナリオをより適切に処理できます。まず、大規模で強力なモデルを合成データでトレーニングし、それを用いて実データから音声信号を抽出します。次に、疑似ラベル付けされた実データを合成データと組み合わせ、モデルを再トレーニングします。 このプロセスは、さらに多くのトレーニングエポックを行ってもモデルの精度が向上しなくなるまで続きます。この時点で、知識蒸留（knowledge distillation）と呼ばれるプロセスにおいて、完全にトレーニングされた大規模モデルを用いて、オーディオ信号をリアルタイムで処理できるほど小型かつ効率的なモデルのためのトレーニングターゲットを生成します。 最終段階はインテリジェントミキシングであり、単なる音量調整を超えたものです。このシステムは複数の技術を組み合わせ、元のミキシングの芸術的意図を維持しながら対話を強化します。具体的には、音声優位のオーディオチャネルを特定し、ソース分離を適用して対話部分を分離し、発音の明瞭さに重要な周波数帯域を強調し、これらの要素を元のオーディオと再ミックスします。視聴者は対話の目立たせさを調整できますが、システムは全体的なサウンドクオリティと芸術的バランスを維持します。 Amazon Prime Video が当初 Dialogue Boost を導入した際、クラウドベースのプロセッシングを用いてオーディオトラックを事前強化していました。知識蒸留（knowledge distillation）により、元の AI モデルのサイズを 1% 未満に圧縮できました。現在、私たちのモデルはデバイス上の制約内でリアルタイムで動作可能でありながら、クラウドベースの手法とほぼ同等のパフォーマンスを維持しています。 リスニング体験 私たちの研究によると、弁別的なリスニングテストでは、参加者の 86% 以上が、複雑なサウンドスケープを含むシーン（アクションシーケンスなど）において、Dialogue Boost で強化されたオーディオの明瞭さを未処理オーディオよりも好むと回答しました。 難聴を持つユーザー向けには、私たちの研究で機能への承認率が 100% と示され、映画鑑賞中のリスニング負荷が大幅に軽減されたという報告がありました。 ユーザーからは、Dialogue Boost がささやき声の会話や、多様なアクセントや方言を含むコンテンツ、アクション満載のシーンでのセリフを理解する助けになると報告されています。また、字幕による気散じを避けながら映画を楽しめる点も評価されています。さらに、深夜視聴者や、他の人が寝ている間にテレビを見る人々にとって、この技術は特に価値があることが実証されています。音量を頻繁に調整したり、字幕に頼ったりする代わりに、視聴者は快適な聴取レベルを維持しつつ、セリフが明確で理解しやすい状態を保つことができます。 Dialogue Boost は、Amazon Lab126 と Prime Video チーム間の協力によって実現されたものです。ゴードン・ハン、ベルカンタ・タセル、フィル・ヒルメス、ピーター・コーン、ルイ・ワン、アリ・ミラニ、スコット・イザベール、ヴィマル・バト、リンダ・リュー、モハメド・オマル、ラクシュミー・ジスキン、ロヒト・マイソール、ビジャヤ・クマールに感謝いたします。 サブバンド処理 疑似ラベル付け 謝辞 研究分野：会話型 AI タグ: 信号処理

ダイアログブースト：AmazonがAIでテレビ番組や映画の会話を強化する方法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト