通義実験室、リアルタイム音声対話モデル「Qwen-Audio-3.0-Realtime」を公開

通义实验室 2026-07-15 10:31 浙江

反应迅速、情商在线、听力敏锐

语音交互的下一个形态是什么？

是毫秒级的极速响应？是深度思考的逻辑推理？还是能感知情绪、像真人般对话的情感共鸣？

如何让语音交互跨越“机械感”，走向“自然与智能”？我们一直在探索。

今天，我们想分享阿里语音交互模型 Fun-Realtime-AudioChat 的全面升级（现已更名为 Qwen-Audio-3.0-Realtime），为大家呈现这套完备的实时语音交互对话方案。

Qwen-Audio-3.0-Realtime 核心亮点：

1、根据语境动态调整语气与情感表达，支持音色克隆，彻底告别机械朗读感；

2、内置多模态双工控制模型，支持声纹级背景过滤，嘈杂环境下对话依然流畅，不易被打断；

3、在 Artificial Analysis 子项中综合排名第一，超越 OpenAI GPT-Realtime-2。

4、支持动态工具调用，可完成路线规划、信息查询等任务，不止于聊天。

我们先通过几个真实的交互切片，看看 Qwen-Audio-3.0-Realtime 在实际对话中的表现。

一、高表现力与共情对话

Qwen-Audio-3.0-Realtime 突破了传统语音助手“机械朗读”的局限，具备高表现力的音频回复与共情对话能力。

模型能够根据对话语境动态调整语气、节奏、音调和情感表达，实现真正拟人化的语音交互。

同时针对自定义音色需求，也提供了音色克隆能力配置用于实际业务应用。在 S2S 语音指令遵循公开 Benchmark VStyle 上取得 SOTA 效果。

在多种复杂语境下，Qwen-Audio-3.0-Realtime 也能轻松应对～

在激烈的辩论场景中，准确理解对方论点、快速组织反驳逻辑，同时保持口语化表达和适当的语气强度。

角色扮演时，能根据设定的角色（如历史人物、职业身份等）调整说话风格、用词习惯和情感表达，并响应显式指令进行风格切换。

在情感陪伴中，当你倾诉烦恼或分享喜悦时，通过语调、节奏和内容表达共情，提供温暖的情感支持。

这些表现的背后，是我们在生成侧的深度优化：

情感感知生成：识别你的情绪状态，并给予有温度的共情回应。

韵律动态调整：根据语义重点与对话节奏，自动调整语速、停顿、重音等韵律特征。

副言語情報の処理：Qwen-Audio-3.0-Realtime は、笑い声やため息、言葉に詰まる様子といった非言語的な音声信号を理解し生成できます。これにより、人間同士の会話特有の繊細なニュアンスを忠実に再現します。

パーソナライズされたスタイルへの対応：わずか 1 秒で独自の話し方へ切り替え、設定したあらゆるキャラクターを完璧に演じ分けることが可能です。

この AI は、あなたの気持ちを汲み取るパートナーとして情緒的な支えを提供することもできますし、状況に応じて戦略を柔軟に変えるプロフェッショナルなカスタマーサポートとしても機能します。また、励ます口調で学習意欲を高める教育アシスタントになったり、ロールプレイや没入型のストーリーテリングを楽しむエンターテインメントの相棒となったりと、用途に合わせて多様に活躍します。

二、滑らかな双方向通信

実際の対話は、開放的で複雑な環境の中で行われるものです。より自然でスムーズなやり取りを実現するため、Qwen-Audio-3.0-Realtime には「マルチモーダル知覚に基づく双方向制御」モデルが内蔵されています。このモデルは音声や周囲の環境音、背景ノイズ、話者情報など、多様な音声・意味情報を感知し、正確な双方向通信のリズムを判断します。

どのような複雑な音響環境下であっても、常に冷静に振る舞います：

• 雑音の多い環境での双方向会話：レストランやオープンプランのオフィスなど騒がしい場所でも干渉されず、あなたの声を正確に捉えます。
• 複数人による会話を邪魔されない：複数の人が議論している場面でも、主要な対話相手を正確に識別し、傍聴者の声に惑わされることはありません。
• 複数話者へのスマートな切り替え：文脈や意味の手がかりに基づいて現在の対話相手を判断し、異なる話者間を自然に切り替えます。

これらの「自然な傾聴」を実現したのは、制御側のアーキテクチャを再構築したおかげです。

• マルチモーダル知覚とスマートな割り込み検出：音声、意味、声紋の特徴を同時に分析し、「環境ノイズ」と「あなたの実際の発言」を見分ける鋭い感覚を持ち、誤判定を防ぎます。
• 声紋レベルのノイズ耐性（開発者向け高度機能）：単なる環境ノイズへの頑健性だけでなく、Realtime-API では audio_prompt フィールドも用意されています。開発者は事前に録音した特定のユーザー音声リストを渡すことで、双方向通信中に「声紋レベル」での正確なロックを実現できます。これにより、他の人の声や背景雑音を無視し、極めて開放的な環境下でも滑らかな双方向通信を達成可能です。

これらの技術力により、Qwen-Audio-3.0-Realtime は Artificial Analysis の対話ダイナミクスサブカテゴリで SOTA（最新最高）の成績を収め、割り込み検出の精度や応答遅延といった主要指標において全面的に他社製品をリードしています。

注：上記のベンチマークは、Qwen-Audio-3.0-Realtime のプレビュー版「Fun-Realtime-AudioChat」の提出結果に基づいています。

騒がしいカフェや移動中の車内であっても、会話を途切れさせることなく維持できます。また、複数の人が集まる会議や家族の集まりでは、主要な対話相手を正確に特定し、周囲の雑音や自然な割り込みにも冷静に対応します。さらに、多数の同時接続を処理するカスタマーサポートセンターにおいても、安定した会話品質を保ち続けます。

三、チャットを超えた存在：Agentic 能力と動的ツール呼び出し

Qwen-Audio-3.0-Realtime は強力な Agentic（自律型エージェント）機能と、動的なツール呼び出しメカニズムを備えています。会話の文脈に応じて、いつツールを呼び出してタスクを実行すべきか、いつは日常会話に戻るべきかをスマートに判断し、タスク実行と対話の切り替えをシームレスに行います。

複雑なビジネスシーンにおけるツールの呼び出しやタスク実行能力を検証するため、小売、航空、通信など実社会の業務領域を網羅する TauBench でテストを行いました（注：Audio モデルでは UserSimulator を音声入力に置き換えています）。

Qwen-Audio-3.0-Realtime 能够精准拆解包含多重约束的复杂口语指令，自动调用外部工具进行多步推理与计算，最终给出完整、可行且时间精确的行动方案。让语音真正拥有“手脚”，得益于以下核心特性：

动态工具路由：深刻理解用户意图，无需显式指令即可自动调用合适的工具。

多工具协同：支持同时注册多个工具，根据任务复杂度灵活组合使用。

统一能力接入：基于 FunctionCall 标准协议，可无缝引入 MCP、API 及知识库。

上下文感知：工具返回的结果会自动融入对话记忆，让多轮辅助对话如丝般顺滑。

只需一句话，它就能帮你搞定本地生活的路线规划与餐厅推荐，或是查询实时新闻与股票行情；甚至能直接接管日程安排、表格查询等复杂的任务执行与数据分析，让语音真正成为你的超级助理。

四、底座支撑：兼顾“快”与“聪明”

为了在复杂推理与快速对话之间取得平衡，并解决“语音模型智商衰减”这一痛点，我们在底层架构上进行了创新。

On-Policy Distillation 与多教师蒸馏

我们采用 On-Policy Distillation 框架，将文本大模型的完整推理能力蒸馏至语音模型。同时引入多教师蒸馏策略，确保模型在各个维度“不偏科”：

• 口语多轮偏好教师：保证口语化表达偏好与指令遵循；
• 通用教师：保障基本问答和推理能力；
• Agentic 教师：确保工具调用与复杂任务执行；
• 音频理解教师：负责音频及副语言信息的对话与推理。

此外，针对日常问答等对时延极度敏感的场景，Qwen-Audio-3.0-Realtime 支持直接生成回复，实现毫秒级响应。

得益于此，Qwen-Audio-3.0-Realtime 在全球权威评测 Artificial Analysis 的 Speech Reasoning（语音推理）子项中取得了综合排名第一的成绩。

※ 本記事の性能評価は、Qwen-Audio-3.0-Realtime のプレビュー版「Fun-Realtime-AudioChat」に基づいています。

VoiceBench（事実の正確性と知識検索を検証）や AudioMultiChallenge（多段階の指示遵守を検証）といった主要なベンチマークでも、その性能は高く評価されています。

VoiceBench

業界で広く採用されている音声 QA ベンチマークにおいて優れた結果を残しました。これは、オープンドメインでの質問応答、知識検索、そして事実の正確性などにおいて、モデルが高い能力を有していることを裏付けています。（Plus モデル：標準プロンプト 92.5、口語プロンプト 90.5 で 2.0 ポイント低下。Flash モデル：標準プロンプト 89.8、口語プロンプト 87.5 で 2.4 ポイント低下）

AudioMultiChallenge

多段階の音声対話チャレンジでは、優れた指示遵守能力と文脈理解力を発揮しました。（Plus モデル：標準プロンプト 44.0、口語プロンプト 37.6 で 6.4 ポイント低下。Flash モデル：標準プロンプト 43.6、口語プロンプト 38.1 で 5.5 ポイント低下）

これらの結果は、同モデルが単に「音声を聞く」だけでなく、「内容を理解し、深く思考する」ことができることを証明しています。

現在、Qwen-Audio-3.0-Realtime の提供を開始しました。ぜひ阿里云百炼（Aliyun Bailian）でその性能をご体験ください！

体験リンク

qwen-audio-3.0-realtime-plus API: https://bailian.console.aliyun.com/cn-beijing/?spm=a2c4g.11186623.0.0.4ab7695bvInrXr#/model-market/detail/qwen-audio-3.0-realtime-plus?serviceSite=asia-pacific-china

qwen-audio-3.0-realtime-flash API: https://bailian.console.aliyun.com/cn-beijing/?spm=a2c4g.11186623.0.0.4ab7695bvInrXr&tab=model#/model-market/detail/qwen-audio-3.0-realtime-flash?serviceSite=asia-pacific-china

Qwen-Audio-3.0-Realtime ドキュメント: https://bailian.console.aliyun.com/cn-beijing/?spm=a2c4g.11186623.0.0.4ab7695bvInrXr&tab=doc#/doc/?type=model&url=3041584

デモ: https://github.com/aliyun/alibabacloud-bailian-speech-demo/tree/master/samples/conversation/fun-audiochat-realtime

「AI を善の方向へ」をテーマにした小有可为 AI 向善创新挑战赛がスタートしました。

Qwen-AgentWorld がオープンソース化され、エージェントに「まず予測し、その後で行動する」という能力が備わりました。

詳細は微信アプリでご覧ください。