语音大模型大多“失聪”，这家公司靠听力测试拿高分

语音AI的“失聪”困境：多数模型听不懂语气

在2026年欧洲计算语言学协会（EACL）发布的公开语音模型基准测试LISTEN中，一款开源团队的模型取得了91分的情绪题成绩，而OpenAI的实时语音旗舰GPT-realtime-2.1仅得31.5分，谷歌、OpenAI、阿里旗下的多款模型更是集体垫底，甚至不如各自的离线版本。

这套测试包含2102道题目，核心是检验音频模型是否能捕捉到文字之外的“副语言信息”——比如说话的停顿、情绪、重音、口音、是否被打断等，而非仅完成文字转写。出题者的结论直白：现在的语音大模型，大多是“失聪”的。

语音AI的三代技术路径

要理解这场测试的意义，需要先梳理语音AI领域的技术发展脉络。不同于大家熟悉的文字大模型，语音AI的落地先后经历了三代核心路线：

第一代是“拼装式”，由语音转文字（ASR）、大语言模型、文字转语音（TTS）三个模型接力完成对话，每传递一次，语气、情绪等信息就会丢失一部分，这也是目前绝大多数语音硬件采用的方案；

第二代是“端到端”，一个模型直接处理音频输入并输出音频，跳过了文字转写环节，OpenAI的GPT-realtime、谷歌的Gemini Live以及阿里的Qwen-Omni都属于这类；

第三代则是“全双工”，模型可以边听边说，还能识别用户是否说完话、是否需要打断，法国Kyutai实验室的Moshi是该路线的开源起点，今年NVIDIA、智源等机构也发布了相关模型。

传统方案的致命缺陷：转写丢失副语言

长期以来，语音模型的评测缺乏统一标准，直到LISTEN测试出现，才把“听懂”的核心问题摆到台面上。传统语音模型的普遍问题在于，它们大多依赖“先转写文字，再基于文字做判断”的流程，这会完全丢失副语言信息——比如同样是“你真行”，语气里的夸奖和嘲讽，在文字转写中没有任何区别，导致模型无法正确理解。

相关研究显示，仅用转写数据训练模型，判断说话人性别的准确率仅约55%，情绪识别准确率更是只有28%，基本等于随机猜测；而如果直接在音频上进行训练，这两项指标能提升到90%左右。问题不在于模型本身，而在于训练方法：给模型提供训练数据的“老师”（文字大模型）本身就没听过声音，自然无法教会模型“听”。

降临派的技术破局：拆分功能降本提效

取得高分的是名为降临派的团队，来自上海，团队共20人，其中4人在墨尔本负责模型研发，16人在国内做工程和销售，此前获得了近千万元天使轮融资。针对语音模型的“失聪”问题，他们开发了一套反常识的技术架构，核心是拆分功能，降低成本并提升效率。

他们打造了名为DuplexJev的“决策引擎”，不需要对音频进行转写或解码，而是直接接入音频编码器的隐状态，通过冻结的大模型进行一次前向计算，就能完成对话轮次判断等任务，10个判断仅需92毫秒，比“先转写文字再让大模型判断”的方式快了21倍。

在此基础上，他们还有负责低延迟对话、副语言理解的全双工模型Sophon-realtime，以及整合了决策引擎、实时模型、后台服务等的总体架构Harness。这套方案的成本比“全双工模型常驻运行”降低了两个数量级，且不是纸上谈兵：DuplexJev已经全面开源，被主流实时对话框架集成；Sophon系列计划在10月底开源，据称会是目前唯一可投入商用的全双工开源模型和框架。

听懂比会说更有价值

降临派认为，在语音AI领域，“听懂”比“会说”更有价值，因为副语言理解能力可以反过来强化副语言表达的训练。比如在电话客服场景中，如果用户在提转账要求时声音带着恐惧，AI可以判断出用户可能被胁迫，从而直接切断转账流程，这种场景虽然不炫，但对金融客服类客户来说至关重要。

不过，这类场景目前还没有明确的“杀手级应用”，瓶颈在于数据：标注了语气、重音、情绪等副语言信息的音频数据非常稀缺，他们目前和高校、数据服务商合作补充这类数据，模型则以Qwen、Gemma为底座进行后训练。

商业现状：小团队的开源之路

目前，降临派的客户是各类AI对话硬件厂商，提供SDK和API服务，已有超过300款硬件、10万多台终端在使用他们的服务，同时在线用户约3000人。不过，商业盘子还不大：300多款硬件中只有约20%实现了量产；按澳洲财年计算，2025财年营收约30万美金，2026财年预计达100万美金，最大客户贡献了25%的收入。

客户结构方面，硬件客户70%在国内，30%在海外，但终端用户反过来，70%在海外，海外用户更愿意付费。商业模式上，他们采用订阅制：用户购买硬件后可按月订阅，包含5小时聊天配额，解决了“设备卖出去后，用户使用的推理成本由谁承担”的问题，成本由用户按订阅支付。

他们的获客主要靠客户主动找上门，几乎没有推广投入，这是开源带来的红利，也是小团队的无奈——20人的团队雇不起专业销售团队。

开源是武器，也是赌桌

为什么选择开源？他们认为，很多车机、硬件厂商对全双工技术有顾虑，而大厂垄断了技术，开源可以推动整个生态发展。对于大厂的竞争，他们的回应是“开源没有价格竞争”：通过开源降低技术门槛，让更多厂商入场，之后再为没有微调能力的客户提供部署和服务，类似Red Hat的模式。

不过，竞争也在加剧：今年8月，NVIDIA开源了全双工模型NemotronLabs VoiceChat 11B，虽然门槛较高，但方向明确；GitHub上全双工相关的开源仓库已有80多个。降临派提到，他们的高分成绩有“考过类似题型”的红利，换陌生语料库的表现还有待验证，目前开源的全双工模型都存在实用问题，而他们希望成为第一家追上闭源水平的开源全双工模型。

下半场的门票：教会机器“听情绪”

聊到未来的发展，降临派没有提营收，而是希望“开启一个新的时代”——这可以理解为一种下注：赌大厂看不上、来不及或舍不得开放的这段时间，足够他们建立起生态。

语音AI的上半场，教会了机器“说话”；下半场的门票，可能是教会机器听懂声音里的情绪，比如在用户转账前识别出恐惧并停下。这门课，目前的实时语音模型还只考了31.5分。