讯飞全国产算力打造语音基座 破局智能语音不可能三角
如果让你扮演一名刑侦助手，你能从混叠的多种声源音频里分析出受害人的所在位置吗？某智能语音大模型在几秒内就给出了答案：被拐孩子周围有大型机械设备的规律性噪音，可能处于火车或地铁上。
模型给出了完整的分析过程：它没有因孩子提到“歌声”就默认是人类或乐器的声音，而是结合嗡鸣声、机械设备噪音等多种声源，以及孩子说的“在车上”来判断场景。不过，音频中的短促警示音并未被模型纳入分析范围。
在后续的音频中，孩子描述了所处环境，模型被要求不针对语音内容推测，仅靠声音线索分析。此时，它将孩子的话语和音频中的汽车声、机械设备声等结合，把“汽车在开会”“圆圆的车”等抽象描述对应到大量大型车辆的场景，最终给出了孩子所处位置的关键特征。
不过，模型虽在单段音频中判断孩子可能在火车或地铁，但未结合两段音频做综合判断。值得一提的是，这类模型已展现出帮助专业人士挖掘音频线索的能力。
语音是人类最本能、低成本的沟通方式，过去AI多聚焦识别其中的文字内容，而像这类具备声场与人声复杂感知、理解和推理能力的模型，正推动语音交互进入新阶段。随着AI与物理世界连接加深，智能座舱、AI眼镜、人形机器人等场景落地，大模型不仅要听清听懂，还要在复杂动态环境中同步感知声音、理解意图、协调行动。
国内智能语音领域的头部企业，正沿着“语音交互—多模交互—具身多模交互”的路线持续进阶，以软硬一体的技术创新推动新一代人机交互落地。这条路线的最新成果，是其基于全国产算力训练发布的语音基座大模型。
该企业形成了分层落地思路：先搭建通用语音基座大模型完成统一音频预训练，让模型学习人声、环境声、时序关联、说话人关系等通用音频表征；基座模型提升识别、同传、实时交互等基础能力，拓展音频理解、情绪识别、说话人分离和环境声理解能力，再由语音专用任务大模型面向具体任务做极致调优，以此平衡任务效果、精度、时延与工程成本。
语音已是下一代AI应用的核心交互载体，这套依托全国产算力打磨的语音基座大模型，为人机自然对话、沉浸式交互打下根基，推动大模型真正理解声音中的场景、关系与意图，支撑下一代智能硬件的交互革命。
01 搞定智能语音不可能三角？语音基座大模型是关键
语音是区别于图文的原生连续交互方式，能解放眼手，适配移动、具身场景需求，成为下一代硬件的核心交互方式。但这些场景对语音交互的各项指标要求更高，使得语音效果、任务准确率与时延、工程成本三者难以同时优化。
该企业的解决方案是“语音基座大模型+语音专用任务大模型”，这套方案的基座是新发布的语音基座大模型。该模型支持文本、语音双模态输入及文本模态输出，可完成语音转写、多语言翻译、多方言识别、环境音识别、说话人分离、情感分析及复杂音频问答等任务。
根据公开测试结果，该模型比业界多款闭源模型表现更优，指令跟随能力与其他模型持平。音频分析需面对场景复杂、噪声强、实时性要求高等挑战，独立基座大模型的价值在于吃透声学细节、攻克复杂声场，再叠加多模态信息，贴合真实交互场景。
为补强模型表征能力、压缩时延、降低算力开销，该模型采用三大核心技术：
一是半监督音频解码器，针对语音领域表征建模弱的痛点，在预训练中升级量化器输入，引入多任务训练强化编码器建模能力，提升识别等任务的鲁棒性。
二是动态分段端到端建模，基于语音到语音的端到端技术，打通识别、理解、生成模块的时序壁垒，支持增量流式语义驱动与动态反馈校正，压低同传、实时交互的响应延迟。
三是双范式协同解码，兼顾效果同时降低推理时延和计算成本：非自回归解码器并行生成结果，再通过LLM自回归模块修正。
02 基座之上的语音专用任务大模型
在基座模型之上，该企业孵化出三大语音专用任务大模型：语音识别大模型、语音同传大模型、语音交互大模型。这些模型分工清晰，基座负责理解音频，专用任务模型负责单项任务的工程落地，匹配产业侧对通用理解与专项高性能的需求。
语音识别大模型能在准确识别的同时，结合上下文逻辑与语境理解，输出更连贯内容，剔除语气词、重复表达等冗余信息。比如在混杂时间、书名、链接、中英文的音频场景中，模型能输出规范通顺的文本，提升了输入法的识别能力。测试显示，该模型在方言、高噪、小音量场景有显著优势，主要任务效果优于业界最优水平。
其技术突破在于构建了非自回归识别与LLM增强自回归识别的架构，非自回归模块继承基座的声学建模能力，通过MoE扩展与增量训练提升鲁棒性；LLM模块发挥语言覆盖与推理能力，通过投机修正优化结果。针对中英文混合场景，还构建了大规模混合文本数据，优化不规范发音与多源语境融合。
语音同传大模型的实测显示，MOS评分从4.4提升至4.6，响应时间明显缩短。同传场景的语音输入复杂，覆盖多场景、长时长，该模型针对性提升了场景感知、长历史理解、播报调控与复杂场景鲁棒性，能区分演讲、对话等场景，调整翻译质量与延迟的平衡，处理长语境的翻译一致性，动态调控译语长度，保留主旨同时压缩表达，还能理解专业术语与方言差异。后续该模型将上线专业设备，优化同传体验。
语音交互大模型则面向多轮对话场景深度优化。
03 应用遍地开花
大模型时代，语音技术的竞争核心转向音频预训练数据、架构选择、算力自主与端云闭环等方向。国内主流语音路线各有侧重，而该企业的全国产算力基座模型，是赛道的关键变量。
该企业的语音技术已落地多款产品：软件端覆盖输入法、音频处理工具；硬件端搭载于翻译机、语音采集设备、AI眼镜、办公设备、具身智能等。
以智能办公设备和语音采集设备为例，升级后能应对复杂语音场景：办公设备支持手写标注说话人、区分交叠发言、精准识别中英混合场景；语音采集设备重量轻、易携带，可磁吸在手机背面，一键录音，高速传输，转写文字，智能区分说话人、生成会议纪要，支持多语种转译。
各类新硬件对远场音频处理要求更高，这套基座模型已展现出成为多模态硬件通用底层组件的潜力。
04 长期深耕的壁垒
语音技术的稳定可靠能力需长期积累，该企业在语音领域布局超三十年，从合成扩展到识别、翻译、交互，多次在国际语音赛事获奖。2024年，其参与的项目获年度国家科学技术进步奖一等奖，是深度学习浪潮后近十年首个AI领域该奖项。
大模型浪潮推动语音技术升级，该企业将多年积累与大模型融合，发力基座与专用任务模型，从首发自回归架构到各类大模型，将长期经验与软硬件数据打通，承载数十年声学认知到新基座，让语音交互有新可能。
在大模型周期，该企业构筑三层核心壁垒：国产算力自主闭环，基座+专用任务的分层路线，以及语音工程与端云数据优势，为多模态硬件、具身智能、智能座舱等提供自主可控的语音地基。
05 结语
这套基座+专用任务的创新体系，是该企业立足多年语音积累的新成果，既支撑自家终端产品体验，也向外输出能力，开放给各类硬件。该企业构建了可生长的语音底座，持续迭代核心能力，为国产智能语音产业打下自主可控的音频地基。
