从汉字“听”到多模态技术:让机器学会主动倾听

在日常场景中,人类具备一种与生俱来的能力:在嘈杂环境中精准捕捉特定声音,或是将注意力集中于某一位发言者,暂时屏蔽其他干扰。这种能力对人类而言习以为常,对机器却是不小的技术挑战。11月12日,在巴西里约热内卢举办的某国际多媒体学术会议上,香港中文大学(深圳)人工智能学院院长、深圳河套学院语言模型与人机交互中心主任李海洲院士发表了题为《以中国方式倾听》的主题演讲,探讨机器如何像人类一样主动选择倾听对象,并真正理解对方的表达内容。
演讲从汉字“听”展开,这个字可追溯至约三千年前的古文字,字形包含耳、目、心三个核心部件。其中耳朵负责接收声音,眼睛帮助定位声源、将注意力聚焦于目标人物,心则承担思考与理解的功能。为什么“听”还需要眼睛?这是因为当人类看向说话者时,注意力会自然集中,视觉不仅能捕捉说话者的唇动,还能预判谁即将开口。而“心”代表理解,正如传统认知中“心之官则思”,英语里“用心记忆”的表达也印证了这一点,可见倾听并非被动的声音接收,而是主动的认知参与过程。
人类的选择性倾听能力在听觉研究中被称为“鸡尾酒会问题”,相关研究可追溯至20世纪50年代,源于航空管制中对多路无线电信号处理的需求。但目前普通语音识别系统仅在单人讲话时表现良好,一旦多人同时发言,就很难区分目标声音,因此在餐厅、酒店等场景中,机器人往往需要用户正对它讲话。这不只是降噪问题,多人场景中干扰本身就是人声,需要解决的是目标说话人提取技术,即当多个人的声音混合时,如何根据指定线索提取某一个人的语音。李海洲团队的研究正是围绕这一问题展开,核心是让机器不仅“听得到”,更要“知道该听谁”。
早期的目标说话人提取研究需要输入目标人物的参考语音,通过深度学习模型生成筛选目标的掩码,但在真实环境中,机器人未必提前掌握所有人员的声音样本。为此,团队引入记忆库机制,机器人初次接触某人时即可采集语音建立特征,后续即使对方在环境中移动,也能借助历史信息持续追踪其声音。除了声音,视觉信息也能为机器锁定目标说话人提供重要线索,系统可通过框选面部从混合语音中提取对应声音,还能通过观察面部表情和身体动作预判发言时机,即使面部被遮挡,肢体动作与语音的时间同步性也能辅助提取目标语音。此外,目标提示方式可扩展为文字描述、参考音频或人物照片,让机器识别和定位目标说话人的线索从单一的声音匹配逐步转向多模态信息引导。
除了外部感知,团队还探索通过脑信号判断听觉注意。随着年龄增长,部分人听力未明显下降,但在多人同时交谈的环境中,分辨不同声音的能力却可能减弱,即“听得见却听不清”。基于此,团队提出神经引导听觉的研究方向,通过脑电信号记录大脑活动,解码其中与听觉注意相关的信息,将解码结果作为控制信号引导模型提取目标说话人的语音。现场演示中,两人同时发言时,佩戴脑电设备的参与者切换注意力,系统提取的声音也随之切换,整体处理延迟约200毫秒,已接近实时。李海洲表示,未来这项技术可集成到助听设备中,帮助听力受损人群或普通人在嘈杂环境里自主选择想听的声音。
人类可借助已有知识补全残缺的声音信息,团队将这一认知机制引入语音提取,探索两种思路:一是在语音提取过程中引入语言知识,根据目标语言筛选声音,例如可从德语与英语混合的节目中提取德语原声,该模型仅需100万至200万个参数即可实时运行;二是将语言模型作为训练约束,让语音模型在学习声学特征的同时掌握语言规律,相关工作利用语言模型为音视频目标语音提取提供指导,语言模型仅在训练阶段参与,推理时可移除,不会增加实际运行成本。在此基础上,团队进一步探索目标说话人提取与语音大模型的结合:TSE-Omni统一音频与视觉信息,依据人物、声音等线索提取目标语音,还会利用历史预测结果补偿视觉干扰;TS-Encoder将目标说话人信息融入语音编码,交由语音大模型处理,让大模型更准确地接收指定说话人的语音信息。在Libri2Mix clean测试集上,基础语音大模型的词错误率为70.55%,采用WeSep级联方案后降至12.53%,TS-Encoder进一步降至10.67%,体现了让语音大模型准确感知目标说话人并完成理解的方向。
演讲最后,团队展示了将上述研究应用于真实机器人的尝试。在多人交流场景中,机器人需先确定关注对象,再结合声音与视觉信息持续追踪目标人物,演示中机器人可识别画面中的人物,用绿色框标出当前关注对象,当周围多人同时讲话时,可选定其中一人的声音进行处理。现场有观众提问机器人如何判断交流对象,李海洲介绍,目前系统主要依据初始线索(如画面中央、音量突出的人)确定目标并持续调整,已具备主动倾听的雏形。还有观众关注技术在听觉辅助领域的应用,询问脑电解码能否帮助听觉处理障碍人群分辨复杂声音,李海洲表示,团队正推进脑电设备小型化,目前实验用128个电极,仅针对听觉注意解码只需耳周约10个电极,正探索将相关技术集成到耳机或助听设备中,推动实际应用。
整场演讲从汉字“听”的智慧,到多模态协同、脑电解码,再到语音大模型与机器人,展现了语音智能从被动感知向主动倾听与理解的发展探索。倾听从来不是被动接收声音,更是主动选择、持续关注与理解信息。对机器而言,听见只是第一步,知道该听谁、理解对方所表达的内容,才是迈向自然人机交互的关键。

