李沐回归B站，详解全双工实时多模态交互模型

近期，BosonAI联合创始人李沐重返视频平台，分享了AI交互领域的前沿研究成果，核心聚焦当下硅谷热门的全双工实时多模态交互方向。

他放出的两段演示极具代表性：一段是车载场景，用户先让AI查询股市、查看训练任务进度，随即向快餐店员点餐，AI全程安静聆听，待用户点单结束后才汇报相关信息；当用户取餐时突然询问是否点了某款薯条，AI立刻准确回应。另一段是英语陪练场景，用户描述旅行经历时，AI会在计时结束后指出语法问题，还能根据用户嘴型提示发音细节。

李沐提出，理想的AI交互模型需满足三大标准——像人、有用、够便宜。具体来说，真人对话通常能在对方说完200毫秒内接话，甚至边听边附和；交互需服务于实际任务；若用户每天与AI互动数小时，每小时的成本需控制在人工时薪的十分之一以内。

当前常见的语音助手采用模块化架构，需依次经过语音活动检测、语音转文字、大模型生成回复、文本转语音四个环节，虽各模块可单独升级，但存在明显缺陷：模块串联导致延迟高，确认用户说完需数百毫秒，后续环节串连后延迟可达1.5到2秒；且易丢失语音中的情绪、背景环境等信息，转成标准文字后这些信息便无法保留，文本转语音也难以匹配语气节奏。

针对这些问题，团队设计了端到端架构，砍掉中间转文字的环节，将语音和画面直接输入模型主干，输出声音和表情。李沐将这一过程类比为熟练掌握外语的人无需翻译即可直接用外语交流，打通多模态语义联系后，延迟降至0.7到0.9秒。

但端到端架构仍受限于语音活动检测的“一问一答”轮次，团队进一步将时间切分为160毫秒的窗口，模型每窗口接收新信息并预测下一个窗口的输出，实现听与说的同步。模型可输出静音保持安静，适时附和，用户插话时也能快速调整，避免冷场。

对于需要较长时间的任务，团队将思考token和工具调用拆入160毫秒窗口，通过三类方式保证交互流畅：

• 分段思考：模型无需在一个窗口内完成全部思考，可将未完成的思考token留到下一个窗口继续推进。
• 异步调工具与分段回复：用户说话时即可发起工具调用，无需等其说完，工具返回结果可分批输入，模型也能根据已确认信息先给出部分回复。
• 前端交互+后台大模型协同：复杂难题可由前端模型呼叫后台更强的模型处理，前端模型继续陪用户聊天，待结果返回后再接入对话。

团队明确了这套设计的边界：前端主模型需解决绝大部分思考和工具任务，仅在真正无法处理时才调用后台，避免后台推理耗时过长、成本过高的问题。

架构确定后，前端模型的训练分三步走，团队权衡能力与成本后选择了45B的混合专家模型作为主模型：

Mid-training阶段：在文字预训练基础上，加入总计约2万亿tokens的语音和视频数据，将听和看直接转化为模型熟悉的输入形式。

后训练阶段：采用两种方法，一是基于GRPO的强化学习，让模型在交互环境中学习接话时机和工具调用逻辑；二是多老师同源蒸馏，将相似交互环境归为一类训练专项模型，再由这些模型共同训练主模型，还加入模拟环境迭代打磨真实场景中的表现。

为将每小时交互成本控制在人工时薪的1/10以下，团队从三方面优化token开销：

• 压缩音视频token：每160毫秒窗口音频输入1个token、输出2个，视频每6窗口取一帧，数字人输出用latent向量，纯音视频流每分钟仅2.6K到5K tokens。
• 保留5分钟完整上下文：系统仅保留最近5分钟的多模态上下文，更早内容转成文字记录，既保留细节又降低推理负担。
• 零样本换声换脸：换声音或人脸无需重新训练主模型，推理时直接用参考声音和人脸图片即可生成对应输出。

评测结果显示，45B的前端模型在多项任务中表现接近276B的对比模型，说明架构设计和训练方法对结果的影响远大于单纯扩大模型规模。目前已开放API的端到端模型支持数字人输出，全双工模型已开放候补名单，即将上线。

相关演示视频和技术文档可通过公开渠道获取，帮助学习者理解模型的交互逻辑和技术细节。