10月21日AI新动态：语音交互等多领域模型集中发布

近期，AI领域多个方向的项目迎来新进展，覆盖语音交互、具身理解与规划、模型推理三大领域，核心成果如下：

在语音交互领域，蚂蚁集团旗下的音频模型系列Ming-3.0开放了多款能力，可识别语音、理解环境声音与音乐，还能结合文本完成音频问答与推理。该系列包含audio-flash、audio-tiny、asr-tiny、tts-tiny和tts-0.5B等模型，其中audio-flash总参数达126B，激活参数6.5B；audio-tiny总参数9.3B，激活参数2.7B。独立的ASR模型支持中英文识别，在15种区域方言测试集上完成评估，还可借助热词与对话上下文辅助识别；TTS提供tiny和0.5B两档规格，支持多语言合成、参考音色调整与表达控制，0.5B版本包含语言骨干及音频生成组件。模型权重与代码采用MIT许可证，部署上，Tiny版本需组合理解与合成组件，难度中等；Flash版本因总参数达126B需多卡部署，难度极高。

Mistral发布的Voxtral 3模型支持50多种语言的语音转写、35多种语言的语音生成，还可接入可打断的语音交互Agent。配套SDK支持LiveKit、对话打断及工具调用，方便开发者将语音输入、响应与业务操作整合到同一交互流程，例如用户可在对话中补充需求，Agent也能调用外部工具完成任务。目前该模型仅可通过官方API和Studio使用，暂无公开模型权重，需私有部署的团队需联系厂商，评估时需区分直接调用服务与私有环境交付两种路径；部署难度上，在线使用难度低，开发接入难度较低。

ElevenLabs推出的Eleven Realtime v1包含Mini和Max两个版本，将语音识别、对话轮次处理、语言模型与语音合成整合为可调用的实时交互工具。Mini版本侧重低时延与成本控制，Max版本支持回答前推理，更适配复杂指令与多步工具调用，开发者可根据任务复杂度选择。该服务整合了多模块能力，且支持沿用既有声音、工具及知识库配置，其WebSocket接口兼容OpenAI Realtime事件，便于对接现有实时语音应用，同时保留对业务工具和回答内容的配置能力。目前该功能按工作区逐步开放，未开通的工作区调用API会被拒绝，项目暂未开放模型权重；开发接入难度中等，需确认工作区已获得权限后通过WebSocket接口接入。

在具身理解与规划领域，高德推出的ABot-ER模型通过统一视觉语言模型连接视觉理解与长程任务规划，覆盖空间关系、场景状态、时序事件、点位定位与可操作性、行动组织五个维度，既处理场景内的实体与位置信息，也负责任务的分步执行规划。项目公开了2B、4B、9B、27B和35B-A3B的模型入口，以及训练数据与评测代码，方便研究者针对不同规模模型开展任务适配。模型输出可为答案、行动计划或坐标，若要实现机器人实际执行，还需对接控制系统。代码采用Apache 2.0许可证，模型权重与数据需分别查看对应许可，部署时需适配具体任务的路由与输出格式，再将结果交付后续执行环节；部署难度中等，9B版本需适配任务路由与输出格式，机器人执行需额外对接控制系统。

在模型推理领域，DeepSeek开放了生产推理框架DeepInfer的核心实现，支持DeepSeek V4.1 Flash的离线推理与结构化输出。该框架采用Apache 2.0许可证，目前适配NVIDIA SM100和华为昇腾950平台，适合具备对应硬件的推理系统团队研究与集成。已开放的离线推理能力包括异步调度、专家并行、草稿验证加速和结构化输出，可通过JSON Schema约束结果格式，这些组件覆盖模型运行与输出控制，但暂未构成完整的对外API服务。完整服务还需补充KV Cache系统、分离部署编排与负载均衡，使用者需从源码构建，并在框架核心之外完成缓存与服务调度等工程工作；部署难度高，需指定对应加速卡并从源码构建，完整服务需补充额外工程组件。