Seed全双工音声大規模モデル発表：傾聴力と耐妨害性を備え、より自然な対話へ

原创 字节跳动Seed 2026-04-09 12:01 北京

全量上线豆包 App，对话流畅度提升 12%

本日、私たちはネイティブな全二重（Full-Duplex）音声大規模言語モデル「Seeduplex」を正式にリリースしました。従来の半二重（Half-Duplex）豆包エンドツーエンド音声モデルと比較し、Seeduplex は「聞きながら話す」という新しいフレームワーク設計に基づいており、インタラクションの自然さと滑らかさが大幅に向上しています。

エンドツーエンドアーキテクチャが「聞く」と「話す」モジュールを統一することで AI に自然な表現の潜在能力を与えたのだとすれば、全二重技術は「聞く」と「話す」を同時に実現することで、この潜在能力をさらに引き出します。これにより、モデルはより自然な会話のリズムと優れたノイズ耐性を実現し、単なる一問一答ではなく、雑音や無関係な人の声の干渉下でも正確に応答し、速さや遅さを適切に制御し、自由にやり取りできるようになります。

具体的には、モデルアーキテクチャの革新とトレーニングの最適化を通じて、高同時実行時のカクつきや安定性といったエンジニアリング上の課題を克服し、Seeduplex は業界をリードする全二重音声のリアルタイムインタラクション効果を実現しました。モデルの知能の上限と超低レイテンシを維持しつつ、以下の2つの主要な突破を実現しています：

高精度ノイズ耐性：モデルは継続的な「聴取」能力を備えており、ユーザーの置かれた音響環境をよりよく理解し、背景ノイズや無関係な会話を正確に無視できます。複雑なシナリオにおいて、半二重モデルと比較して誤応答率と誤割り込み率が半分になりました。

動的停止判定：モデルは音声特徴と言語的意味特徴を統合してユーザーの意図を判断し、より自然な会話リズムの制御を実現できます。ユーザーが考えて迷っている際には耐心を持って聴き、ユーザーが話し終えた後には迅速に応答します。半二重モデルと比較して、割り込み（話しかけ）の割合は相対的に40%減少しました。

現在、Seeduplex は豆包 App で全量リリースされており、これは全二重技術が正式に研究室から飛び出し、業界で先駆けて大規模な実装を達成したことを意味します。これにより、数億ユーザーに対して連続かつ高品質なリアルタイム音声インタラクション体験を提供できます。

多次元の評価結果によると、Seeduplex は会話の滑らかさとリズム感において、従来の半二重方式や業界主流アプリの音声通話機能よりも顕著に優れています。停止判定の性能では、半二重方式と比較して8%向上し、より自然な会話における距離感や加減に近いことを示しています。

プロジェクトホームページ：

https://seed.bytedance.com/seeduplex

体験エントリポイント：

豆包 App を最新バージョンに更新し、チャット画面で「電話をかける」を選択して音声通話画面に入り、体験してください。

人と人との会話そのものが、聞きながら話す「全二重（Full-Duplex）」の交流であり、そこには頻繁な停顿、思考、躊躇、そして背景ノイズや音声の重なりといった要素が含まれています。自然な対話を実現する音声システムは、こうした高自由度で非構造化のオーディオストリームを処理する能力を備えていなければなりません——つまり、騒がしい環境でも「聞き分け」よく、ユーザーが思考を整理している際には「忍耐強く待つ」ことが求められます。

過去において、従来の半二重（Half-Duplex）システムは、カスケード型のモジュール設計に依存することが一般的でした。これは、独立したVAD（Voice Activity Detection：音声活動検出）を用いて機械的に音声を切り取るか、従来のアルゴリズムでフロントエンドのノイズ除去を行うものでした。判定根拠が単一の音響特徴量や局所的なテキスト意味特徴に限定されていたため、複雑な環境下ではシステムが容易に「誤判断」し、ユーザーの停顿中に「割り込み（おしゃべり）」が発生しやすいという課題がありました。

一方、Seeduplexは独自の大規模言語モデル（LLM：Large Language Model）を基盤とし、リアルタイムの音声全二重インタラクションフレームワークを革新的に構築しました。さらに、大規模な音声データを用いた事前学習を行うことで、ネイティブな音声意味の共同モデリング能力を備えています。これはオーディオ内の音声意味情報をグローバルに理解し、対話のリズムを動的に決定するものであり、従来のシステムと比較して、ノイズ耐性と対話リズム制御の両面で飛躍的な向上を実現しています。

1. 高精度なノイズ耐性：騒がしい環境における強力な「音響的集中力」

複雑な音響環境は、これまで音声インタラクションにおける大きな課題でした。背景ノイズや他者の声による干渉は、ユーザーの音声入力を「汚染」しやすく、システムの応答遅延、放送の中断、さらには誤トリガーを引き起こす原因となります。過去には、ユーザーが安定したインタラクションを行うために、音量を上げたり静かな場所を探したりする必要がありました。

Seeduplexモデルはユーザー側のオーディオを継続的に受信・理解し、ユーザーが置かれたグローバルな音響環境を認識することで、モデルとの真正な対話音声と干渉音を正確に判別します。このノイズ耐性の向上により、Seeduplexの誤応答率と誤割り込み率が大幅に低下しました。

干渉を排除し、ユーザーの音声を正確に認識

放送が頻繁に行われナビゲーション音声も混在する車内において、Seeduplexは背景の干渉音を比較的安定して除去し、主要なユーザーの音声を正確に認識して迅速に応答します。

意図を理解し、非対話音声を見分ける

カフェで友人と別れを告げたり、自宅で門の外からの配達員に応答したりする際、ユーザーがモデルと対話しているときに他の誰かに中断されたり他者の会話が入り込んだりしても、システムは意味に基づいてモデルとの対話意図を持つ音声を識別し、誤った応答を避けます。これにより、メインの対話は常に自然で一貫した状態を保たれます。

複数の人が同時に話すオーバーラップ（重なり）シナリオにおいても、正確に対話相手を識別し、どの発言が自分宛ての指示であり、どの発言が他者間の雑談であるかを聞き分けることができます。

環境を認識し、情報を積極的に連携

モデルは環境音も解析し、推論のコンテキストに組み込むことができます。例えば、Seeduplexは背景で流れている杭州の紹介音声を知り、ユーザーが杭州へ旅行する計画を持っていることを踏まえて、環境情報と対話を積極的に連携し、心遣いのある応答を行います。

1. 動的な停止判定：速さと遅さの使い分け、自在な制御

真に自然なインタラクションの核心は、ユーザーがいつ思考中であり、いつ発話を終了したかを正確に判断することにあります。Seeduplexは音声と意味理解を深く融合させることで、対話リズムの制御においてより高い柔軟性を発揮します。

忍耐強く聞き取り、思考の空白を受け入れる

ユーザーが確信のない考えを述べている場合、考えながら修正を行うことができ、明確に整理してから一度に話す必要はありません。モデルは常に聞き取り状態を維持し、繰り返し調整されたり、以前の論理が覆されたりする複雑な表現に対しても、ユーザーの真の意図を正確に捉えます。

英語の面接模擬など高ストレスなシナリオでは、モデルはつまずきの箇所が単なる思考の空白であり、対話の終了ではないことを「理解」します。ユーザーが発話を完了するまで忍耐強く聞き、待ってからフィードバックを与えるため、練習プロセスは現実のシナリオと極めて近くなります。

超低レイテンシ：瞬時の応答

「ゆっくり待つ」ことに加え、Seeduplexは高頻度のインタラクションシナリオでもたわごとなく対応できます。例えば、早口クイズゲームにおいて、モデルはユーザーの発話が終了したことを察知すると、低いレイテンシで「瞬時に応答」します。これは半二重時のレイテンシと比較して約250ms短縮されており、「速く応答すべきときは素早く」対応します。

反応速度や古詩の蓄積が試される「飛花令（ひかりょう：詩歌を詠み合うゲーム）」のシナリオでも、対話の流れを途切れさせず、滑らかに接続することができます。

鋭敏な感知：いつでも割り込みに応答

忍耐強い聞き取りや即時の返信に加え、Seeduplexはユーザーの割り込み要求にも迅速に応答できます。例えば、ユーザーが突然「ちょっと待って、メモを取らせて」と発言した場合、モデルはユーザーの意図を鋭敏に捉え、瞬時に応答を停止して音声を滑らかに収め、ユーザーが戻ってくるのを待つ聴取状態へ移行します。

全双工音声技術の実現

デモンストレーションから大規模な実装へ

全双工機能の実現には、モデルアーキテクチャ、アルゴリズム実装、エンジニアリングパイプラインに対してより高い要件が課されます。Seeduplex はネイティブなエンドツーエンドのモデリング方式を採用し、システムはストリーミング知覚能力を備え、入力された音声信号から特徴抽出を行い、基盤モデルによってリアルタイムで処理を行います。

対話ロジックにおいて、モデルは音響特徴と会話の文脈を総合的にモデル化し、現在の状態を自律的に判断して、応答を開始するか、引き続き聴取するか、あるいはユーザーの割り込みに応じるかを決定します。

豆包 App でのモデル全面リリースを支えるため、チームはモデルフレームワークの設計、アルゴリズムの最適化、エンジニアリングのパフォーマンスと安定性において多大な最適化を行いました：

モデルフレームワークの設計：音声のリアルタイム対話のネイティブな特性により適合したモデルアーキテクチャを構築し、モデルがデータから直接音声と意味の一体化された表現およびリズム制御を学習できるようにし、対話の自然度を大幅に向上させました。

アルゴリズムとトレーニング：膨大な音声データに基づく大規模な事前学習を行い、多能力・多タスクのポストトレーニング体系を通じて、対話インテリジェンス、超低レイテンシ、会話リズム制御、強力なノイズ耐性、指向性理解といった多次元の能力を協調的に最適化し、モデルに安定かつ効率的で自然な対話パフォーマンスを実現させました。

推論パフォーマンス：投機サンプリングや量子化などの手法によりパフォーマンスを極限まで最適化し、コストとレイテンシのバランスを実現しました。

サービスの安定性：録音や再生時のカクつきなどの問題を重点的に解決し、大規模なトラフィック環境下でもモデルが連続して安定して動作することを確保しました。

最終的に、Seeduplex はデータ構築、超低レイテンシ、モデル効果の協調的最適化といった中核技術のボトルネックを突破しました。大規模な A/B テストデータは、全双工対話モードの価値を証明しました。豆包に以前リリースされていた半双工モデルと比較して、Seeduplex は通話時間やリテンションといった主要指標においてすべて正の向上を実現し、全体の通話満足度の絶対値は 8.34% 上昇し、「割り込み」「応答の遅れ」「誤った割り込み」などの問題に関するユーザーフィードバックの割合が顕著に減少しました。

Seeduplex の評価結果

半双工モデルと比較して多次元で顕著な向上

私たちは Seeduplex に対して一連の主観的および客観的な評価を実施し、その結果、Seeduplex は割り込みと判断停止の両方のパフォーマンスにおいて半双工モデルを大幅に上回り、複数の主要指標で業界トップレベルにあることが示されました。

豆包 App で以前使用されていた半双工対話フレームワークと比較して、Seeduplex の全体的な対話体験がさらに向上し、判断停止の MOS 得点は 8% 上昇し、対話の流暢さの MOS 得点は 12% 上昇しました。

具体的には、Seeduplex は判断停止のレイテンシを約 250ms 短縮すると同時に、複雑なシナリオにおける AI の割り込み（先取り応答）の割合を相対的に 40% 減少させました。ユーザーの割り込みニーズに対して、より高い応答精度を前提として、Seeduplex は割り込み応答のレイテンシをさらに約 300ms 短縮しました。複雑な音響ノイズのシナリオでは、Seeduplex は誤った応答率と誤った割り込み率を半減させました。

さらに、従来の半双工モデルおよび業界主流の App 音声通話機能との横断的な比較により、Seeduplex は判断停止や割り込み応答のタスクにおいて顕著な優位性を示し、評価ユーザーによる対話の流暢さに関する「全体的な対話リズムが適切かどうか」という評価を大幅に向上させました。

主要な業界比較製品との対話リズムに関する主観的評価結果（比較対象の製品はアルファベットで表記）

私たちはまた、実際の人間による会話テストを組織することで、現在の人機間対話と一般的な人々同士の対話（一般層）の水準を概観しました。その結果、「人間同士の対話」を基準とした場合、Seeduplex は応答の停止（判停）において半双工方式と比較して 8% 大幅に向上しました。また、応答の割り込み（インタラプト）に対する対応では、実際の人間同士の対話でも応答がやや遅れることがありますが、Seeduplex はより安定しており、人間同士の対話の平均レベルをわずかに上回りました。しかし、全体的な会話の流暢さにおいては、Seeduplex と実際の人間同士の対話との間にまだ大きな差があり、さらなる向上が期待されます。

「人間同士の対話」との比較評価により、Seeduplex と実際の人間同士の対話との差はさらに縮まりました。

まとめと展望

Seeduplex の公開は、音声対話が「ターン制」から「リアルタイムの自然な対話」へ進化するための重要な一歩です。そのネイティブな全双工（フルデュプレックス）フレームワークは、モデルのノイズ耐性とリズム制御能力を向上させるだけでなく、何より重要なのは、モデルが知覚、思考、実行の全方位的な融合を実現するための基盤を提供することです。

今後、私たちは以下の側面での突破を目指して継続的に取り組みます：

モデルの音声理解能力をさらに向上させ、複数人の会話やスマートハードウェアなど、複雑な対話シナリオにおけるパフォーマンスを深く最適化します。

データのスケールアップ（データスケーリング）とアルゴリズムの最適化を通じて、モデルの対話リズムの多様性と制御能力を継続的に高めます。

「聞きながら話す」に加え、モデルの能動的な能力を導入し、例えば、ユーザーの話に相槌を打つことや、音響環境や対話の文脈に基づいて能動的に対話を行うことなどを実現します。

より深いマルチモーダル融合を実現し、既存の音声・テキストモダリティに加え、視覚モダリティを導入することで、「聞きながら見て、話しながら見る」という多次元の協調を実現します。

知覚、思考、出力の一体化を実現し、「聞きながら考える」「聞きながら検索する」などのアプローチをさらに探求することで、モデルのより深い思考と実行能力を備えさせ、音声対話の流暢さをさらに向上させます。

全双工を起点として、私たちは将来 AI が絶えず進化し、知覚、対話、行動の閉じたループの中で、実際に聞く、見る、考える、話す、行うの協調を真に実現することを期待しています。

原文を読む

WeChat（微信）で開くためにジャンプ