文章摘要
Qwen - Audio - 3.0 - Realtime音频模型API开放体验。该模型是完备实时语音交互方案核心载体，具有高表现力与共情对话能力，能适配复杂声场实现流畅双工对话，还具备强大Agentic能力与动态工具调用机制。其底层架构创新兼顾速度与智能，在多个权威评测中表现优异，现已上线，开发者可按需集成。

当语音交互不再是冰冷的机械指令回复，能够实现共情对话、在嘈杂环境精准响应、自动完成复杂任务，这就是实时语音交互的全新进化形态。我们推出的Qwen-Audio-3.0-Realtime（前身为Fun-Realtime-AudioChat），就是这套完备实时语音交互方案的核心载体。

Qwen-Audio-3.0-Realtime 核心亮点：

  • 可根据对话语境动态调整语气、节奏与情感表达，支持音色克隆功能，彻底告别机械朗读感
  • 内置多模态双工控制模型，支持声纹级背景过滤，在嘈杂环境中依然能保持流畅对话，不易被误打断
  • 在Artificial Analysis对话动态子项中取得综合排名第一的成绩，表现超越OpenAI GPT-Realtime-2
  • 具备动态工具调用能力，可完成路线规划、信息查询等多元任务，不止于日常闲聊

拥有高表现力与共情的对话能力

Qwen-Audio-3.0-Realtime突破了传统语音助手的机械朗读局限，能够实现真正拟人化的语音交互。模型可以根据对话场景和语境，灵活调整语气、语速、音调和情感表达，同时支持自定义音色克隆，适配不同业务场景的个性化需求，在S2S语音指令遵循公开Benchmark VStyle上取得了SOTA效果。

在多种复杂语境下，这款模型都能轻松应对：

  • 辩论场景中，可准确理解对方论点、快速组织反驳逻辑，同时保持口语化表达与合适的语气强度
  • 角色扮演时，能根据设定的角色调整说话风格、用词习惯与情感表达，还可响应显式指令快速切换风格
  • 情感陪伴场景中，当用户倾诉烦恼或分享喜悦时，可通过语调、节奏与内容传递共情，提供温暖的情感支持

这些出色表现背后，是生成侧的深度技术优化：

  • 情感感知生成：精准识别用户情绪状态，输出带有温度的共情回应
  • 韵律动态调整：根据语义重点与对话节奏，自动调整语速、停顿与重音等韵律特征
  • 副语言信息处理：支持理解和生成笑声、叹息、犹豫等非语言声音信号，还原真人交流的细腻细节
  • 个性化风格适配：可一键切换专属说话风格，完美演绎用户设定的任意角色

无论是作为懂你的AI情感伴侣、专业智能客服，还是教育助手、娱乐搭子，这款模型都能灵活适配，提供贴合场景的交互体验。

适配复杂声场的流畅双工对话

真实的对话往往发生在开放且复杂的环境中，为了让交互更加自然流畅，Qwen-Audio-3.0-Realtime内置了多模态双工控制模型，能够全面感知语音、环境、背景与说话人等丰富的音频和语义信息，实现精准的双工节奏判断。

无论身处何种复杂声场，这款模型都能保持从容的对话状态：

  • 嘈杂背景适配：在餐厅、开放工区等嘈杂环境中，不受环境噪音干扰，精准锁定用户声音
  • 多人交谈不打断：在多人讨论场景中，可准确识别主对话对象，不会被旁听者的声音干扰
  • 多说话人智能切换：根据上下文与语义线索，智能判断当前对话对象，在不同说话人间自然切换交互

这些自然倾听的能力，源于控制侧的技术重构：

  • 多模态感知与智能打断检测：同时分析音频、语义与声纹特征，敏锐分辨环境杂音与用户的真实插话，避免误判打断
  • 声纹级抗干扰：除基础的环境噪声鲁棒性外，Realtime-API预留了audio_prompt字段，开发者可传入特定用户的提前录制音频列表，实现声纹级的精准对话锁定，忽略其他人声与背景噪音，在极致开放场景下实现流畅双工交互

凭借上述技术，Qwen-Audio-3.0-Realtime在Artificial Analysis对话动态子项中取得SOTA成绩，打断检测准确率、响应时延等关键指标全面领先。无论是在喧嚣的咖啡厅或交通工具上，还是多人会议、家庭聚会，或是高并发的客服呼叫中心，它都能保持稳定流畅的对话质量。

Agentic能力与动态工具调用，让语音长出“手脚”

Qwen-Audio-3.0-Realtime具备强大的Agentic能力与动态工具调用机制，可根据对话上下文智能判断何时调用工具、何时进行日常闲聊，实现任务执行与对话交互的无缝切换。

为验证模型在复杂业务场景中的工具调用与任务执行能力，我们在涵盖零售、航空、电信等真实业务领域的TauBench进行了测试（Audio模型将原UserSimulator替换为语音输入）。面对带有多重约束的复杂口语指令，这款模型可以准确拆解用户意图，自动调用外部工具，进行多步推理与计算，最终给出完整、可行且时间精确的行动方案。

让语音交互具备工具调用能力，得益于以下核心技术特性：

  • 动态工具路由：深度理解用户意图，无需显式指令即可自动调用合适的工具
  • 多工具协同：支持同时注册多个工具，可根据任务复杂度灵活组合使用
  • 统一能力接入：基于FunctionCall标准协议，可快速引入MCP、API与知识库资源
  • 上下文感知：工具返回的结果可自动融入对话记忆，让多轮辅助对话更加顺滑自然

只需一句口语指令，它就能帮你完成本地生活路线规划与餐厅推荐、查询实时新闻与股票行情，甚至可以直接接管复杂的任务执行与数据分析工作，比如日程安排、表格查询，真正让语音成为你的超级助理。

底层架构创新，兼顾速度与智能

为了兼顾复杂推理与快速对话，同时解决“语音模型智商衰减”这一行业痛点，我们在底层架构上进行了深度创新。

我们采用On-Policy Distillation框架，将文本大模型的完整推理能力蒸馏至语音模型，同时引入多教师蒸馏策略，确保模型在各个维度都能均衡发展，不会出现“偏科”：

  • 口语多轮偏好教师：保障模型的口语化表达偏好与指令遵循能力
  • 通用教师：保障模型的基础问答与通用推理能力
  • Agentic教师：保障模型的工具调用与复杂任务执行能力
  • 音频理解教师：负责音频及副语言信息的对话与推理

此外，Qwen-Audio-3.0-Realtime针对日常问答等极度敏感时延的场景，提供了直接生成回复的能力，可实现毫秒级响应。

得益于此，Qwen-Audio-3.0-Realtime在全球权威评测Artificial Analysis的Speech Reasoning（语音推理）子项中取得了综合排名第一的成绩。在VoiceBench（验证事实准确性与知识检索）和AudioMultiChallenge（验证多轮指令遵循）等主流基准测试中同样表现优异：

  • VoiceBench：在业界主流的语音问答基准测试中表现出色，验证了模型在开放域问答、知识检索、事实准确性等方面的能力。（plus版本：标准prompt-92.5，口语prompt-90.5，下降2.0；flash版本：标准prompt-89.8，口语prompt-87.5，下降2.4）
  • AudioMultiChallenge：在多轮音频对话挑战赛中展现出色的指令遵循能力和上下文理解能力。（plus版本：标准prompt-44.0，口语prompt-37.6，下降6.4；flash版本：标准prompt-43.6，口语prompt-38.1，下降5.5）

这证明了Qwen-Audio-3.0-Realtime不仅能“听见”声音，更能“听懂并深度思考”。

目前，Qwen-Audio-3.0-Realtime已正式上线，你可以通过官方平台进行体验。

相关API与文档可通过官方平台获取，包括qwen-audio-3.0-realtime-plus API、qwen-audio-3.0-realtime-flash API以及完整的技术文档，开发者可根据需求选择适配的版本进行集成。

以上内容不代表本平台立场，仅供读者参考