文章摘要
全双工语音对话是语音交互领域的核心目标，当前多数语音对话系统仍为轮次式交互。哈工大深圳团队迭代研发并开源了原生端到端全双工语音大模型Lychee - FD，其语音双工核心技术获ACL 2026杰出论文奖。该模型揭示了全双工降智根源，创新架构并完成工程实现，还应用于数字人和机器人，开源后将推动全双工语音交互走向更多场景。

全双工语音对话是人类最自然的交流方式，也是语音交互领域长期追求的核心目标。相较于文本输入，语音天然更贴合日常交流习惯，但目前多数语音对话系统仍停留在“一问一答、听完再说”的轮次式交互范式。近期相关实时语音交互产品再次将行业目光拉至聚光灯下，印证了语音交互正从轮次式问答，向连续、双向、实时的自然交流演进。

要实现真正的自然交互，难点不只是让系统“看起来可以被打断”，而是让持续倾听、语义理解、语音生成和节奏控制成为模型原生具备的能力。如何在保留语义理解与推理效率的同时，实现响应迅速、回答准确、对话自然的原生全双工语音交互，正是语音大模型迈向类人交互的核心挑战。

近日，哈工大深圳计算与智能研究院立知大模型团队，在2023年推出的立知全模态理解和生成大模型基础上，迭代研发了具备全双工语音对话功能的新一代大模型，并同步开源了完全自主研发的原生端到端全双工语音大模型Lychee-FD。该模型的语音双工核心技术斩获ACL 2026杰出论文奖，获奖比例仅约0.15%。

一、什么是原生全双工语音交互？

原生全双工语音交互，指的是系统可以在持续倾听用户说话的同时，同步生成自然的回应，无需等待用户说完再开口。比如搭载该技术的表情机器人，不会先录完用户的话再播报回答，而是可以在对话过程中实时做出反应：用户说话时它会注视、点头并给出自然反馈，随时打断可以立刻切换话题，表情、口型、语气都与对话上下文同步，没有尴尬的停顿和机械的轮次，这就是原生全双工带来的自然交流感。

二、传统语音交互的核心痛点

早期的语音AI大多遵循轮次交互范式：用户说完后，系统依次完成识别、理解、生成、播报，只能完成基础问答，难以实现真正自然的交流。后续部分系统尝试添加打断检测、状态判断等外部模块，让AI看起来可以边听边说，但本质上仍是多个独立模块的外部协作，听、理解、说、控节奏被拆分，不仅带来延迟和生硬的轮次切换，更致命的是语音理解与表达难以真正统一。

Lychee-FD没有采用现有方案的外部拼凑思路，而是将持续倾听、语义理解、语音生成和对话节奏控制全部内置到模型内部，让这些能力成为模型原生的交互本能。它不只是实现“打断、附和、接话”等单点功能，而是让模型在连续语音流中自然涌现出类人的交互能力，真正学会像人一样参与对话。

三、Lychee-FD的全栈技术突破

要实现流畅自然的类人交互，原生全双工模型需要同时满足三个核心要求：保持大语言模型的理解和推理能力、实时生成自然语音、在连续对话中精准判断倾听、回应和停止的时机。过往的方案往往只能在智能性和实时性之间取舍：要么保留智能但引入复杂模块和延迟，要么追求低时延却牺牲语义理解能力。

Lychee-FD的核心价值在于，首次从模型优化机制层面揭示了原生全双工语音大模型难以兼顾智能、流畅和低时延的根本原因，并围绕这一问题完成了架构设计与工程实现。

1. 科学洞察：揭示原生全双工降智的核心根源

在原生端到端全双工模型中，语音和语义并非简单合并就能协同工作。研究通过细粒度的优化动态分析发现，当声学建模和语义建模被迫共享深层参数空间时，二者会产生内生的梯度冲突：浅层网络中语音和文本目标可以协同，但进入深层后优化方向开始分化甚至互相牵制。

这意味着模型既要学会“如何生成自然语音”，又要保持“语义推理能力”，长期共享深层参数会导致模态干扰：要么语音流畅但语义和知识被削弱，要么保留语义但实时性不足。

同时，论文还发现了语义稀释问题：由于语音信号频率远高于文本语义信号，传统对齐方式会让稀疏的文本监督被高频声学信号淹没，导致模型训练中逐渐偏向“复现声音”，削弱了对语义逻辑的保持。

这一发现解释了为什么原生全双工语音大模型长期难以同时做到“聪明、自然、低时延”，问题不仅在于工程实现的延迟，更在于模型内部语音生成和语义推理的深层冲突。

2. 架构创新：层次化解耦解决深层冲突

针对上述问题，Lychee-FD提出了层次化语义-声学建模框架：在浅层保留共享主干，让语音和语义共同学习底层表示；在深层将语义、声学和对话控制拆分为不同的专门通道，各自完成最适合的建模任务。

简单来说，浅层负责“共同理解输入”，深层则“各司其职”：语义通道保持语言理解和知识能力，声学通道生成自然语音，对话控制通道判断交互的开始、停止和节奏。

这种设计完美匹配了之前的科学洞察：既然冲突主要发生在深层，因此不再强迫语义和声学在深层共享参数；同时引入密集语义对齐通道，避免文本语义被高频语音信号稀释，让模型在生成语音的同时保留清晰连续的内部语义线索。

因此，Lychee-FD的全双工能力并非外挂的打断模块或级联系统的流程调度，而是内置到模型架构中的原生交互能力。它可以在连续语音流中协同处理语义理解、语音生成和节奏控制，在保持推理效率的同时，兼顾语音智能与交互流畅度。

实验数据验证了这一方案的有效性：Lychee-FD在Spoken QA任务上平均提升7.4%，在FullDuplexBench 1.5上平均提升28.5%，在3个全双工语音交互基准的10个指标上达到业内领先水平。

3. 工程实现：从论文模型到可交互系统

真正的全双工交互最终需要落地到实时系统中。Lychee-FD的架构同时生成语义、声学和控制信号，对推理引擎提出了新的挑战。传统大语言模型推理框架通常面向单一路径、单一输出流设计，如果直接套用至多通道全双工模型，多个专门通道会被顺序执行，带来额外延迟，影响实时对话流畅度。

为此，团队以vLLM为高性能推理底座，围绕Lychee-FD的层次化多通道架构进行定制化改造，开发了实时并行多流推理框架。具体来说，在共享主干完成计算后，系统将中间表示分发到语义、声学和控制通道，让多个专门通道并行执行，并分别管理多流KV cache，避免多通道生成在同一条推理路径上串行排队。相较于基础推理框架，该框架实现了2.96倍的提速，同时将GPU显存占用降低23%。

同时，团队还提出了控制头早退策略：由于打断、停说、转入倾听等行为首先依赖控制信号，系统无需等待完整语音和文本生成结束，让控制Token更早产出，为打断响应提供快速通道。

并行多流推理解决了“跑得慢”的问题，控制头早退解决了“反应慢”的问题，二者共同将Lychee-FD从论文中的模型框架，推进到可真实交互的数字人与机器人系统。从科学洞察到架构创新，再到在线推理引擎优化，Lychee-FD完成了理论突破、算法创新和工程实现的全栈闭环。

四、从听见到看见：全双工语音的具象化应用

Lychee-FD并非停留在论文中的概念，团队已经打通从模型推理到可视化呈现、从虚拟形象到实体机器人的完整展示链路。

Lychee-FD驱动的数字人：屏幕里的她，会听也会说

在数字人Demo中，Lychee-FD驱动的虚拟形象可以实时参与对话：用户说话时它持续倾听，用户停顿不会机械抢话，用户临时改变想法时可以顺着新语义回应。

更重要的是，语音、口型、表情和回应节奏不再是彼此分离的动画效果，而是围绕同一段连续对话同步发生，让数字人不再只是“会播报答案的形象”，而是真正与用户共同构建对话的智能体。该Demo的数字人表现层基于Soul-LiveAct开发。

Lychee-FD驱动的情感机器人：一张会“倾听”的实体脸

团队还将Lychee-FD搭载到实体机器人头中，打造了Shennie情感机器人。这款机器人没有唤醒词，也没有“请开始说话”的提示。用户说话时，它会用表情和简短反馈实时回应；用户犹豫时耐心等待；用户情绪高涨时，它的语调也会随之变化，真正成为“在场”的对话伙伴。该机器人技术由港中深李海洲教授与朱建教授团队支持。

五、开源Lychee-FD：让全双工语音走向更多真实场景

全双工语音交互正在成为下一代AI交互的重要方向，它所指向的不只是更快的响应速度或更灵敏的打断能力，而是让AI在连续语音流中具备持续倾听、实时理解、自然回应和节奏控制的能力。

Lychee-FD是哈工大张民教授立知大模型研究团队在类人交互方向上的扎实探索，证明了全双工语音交互不必牺牲智能，端到端模型可以同时做到聪明、流畅和低延迟。

作为完全自主研发的原生端到端全双工语音大模型，Lychee-FD的开源让更多研究者和开发者可以基于统一开放的基础，复现实验结果、验证技术路线、拓展交互场景，共同推动全双工语音智能向前发展。

面向未来，团队将继续推动Lychee-FD落地更多真实场景，包括复杂声学环境下的稳定交互、真实多人对话中的意图理解与节奏判断、数字人中的视觉表情融合，以及机器人实体交互中的在场感表达。

从模型开源到场景探索，Lychee-FD希望为原生全双工语音大模型建立开放起点，随着更多研究者、开发者和产业伙伴的加入，全双工语音交互将从前沿研究问题，逐步走向数字人、机器人、智能助手和更广泛的真实应用，让AI不只会回答，而是真正学会交流。

作者介绍

论文第一作者刘振宇，是哈尔滨工业大学（深圳）与深圳河套学院联合培养二年级博士生，导师为户保田教授。在哈工大深圳张民教授立知大模型团队、深圳河套学院AI训练平台支持下，主攻全双工语音大模型与实时人机交互方向，累计发表NeurIPS、ACL、AAAI等CCF-A/B类论文8篇，开源项目累计获得星标1k+。

以上内容不代表本平台立场，仅供读者参考