讯飞爻方发力机器人大脑:本体认知+联合生成破泛化难题

逛过2026年具身智能展会的观众,大多会有一个共同的困惑:都到这个年份了,机器人干活怎么还是慢吞吞的?
不少人第一反应会觉得是技术性能跟不上,但一位刚创立机器人企业的负责人给出了更扎心的解释:不是不能提速,而是怕出错。只要把运行速度调高,出错概率就会显著上升,在公开演示时很容易掉链子。
不是不能快,是怕出错。速度是可以调快的,调快以后出错概率就会增加,给别人演示的时候就会掉链子。
展台上的迟缓动作,其实是团队主动调低的安全运行档位。而不敢轻易提速的根源,正是当下行业热议的「机器人大脑」——目前的具身智能核心系统,还没有跨过实用落地的门槛。
换个环境、换个物体,动作就开始变形,所以很多展示只能停留在Demo层面,在精心布置的场景里小心完成。
说出这番话的是潘嘉,这位国家科技进步一等奖主要完成人、科大讯飞杰出科学家,同时也是具身智能前沿领域的带头人。
就在这次展会开幕前不久,科大讯飞悄悄注册了安徽爻方智能科技有限公司,注册资本高达3亿元,由潘嘉亲自带队,专攻的正是机器人大脑的研发。同期,团队联合中国科学技术大学、聆动通用机器人,共同发布了一份名为<iFLYTEK-Embodied-Omni>的技术报告,开篇的核心判断掷地有声:现在主流的机器人大脑,造法就不对。
总结来看,爻方的核心思路可以归纳为两点:其一,当下火热的VLA路线并非具身智能的最终形态,其理论层面的短板已经清晰显现;其二,接棒VLA的世界模型路线,也存在可以完善的空间,「本体认知」正是其中亟待补上的关键一环。
要理解这两点判断,不妨先梳理整个行业围绕「具身智能大脑」的争夺逻辑。
行业已经逐渐形成共识:具身智能真正的发展瓶颈,从来不在机械硬件本身,而在控制机器人的「大脑」。过去几十年的人机交互,大多停留在离身的符号层面,无论是语音识别还是文字交互,都隔着一块屏幕完成。但具身交互要求机器人真正走进物理世界:倒一杯水,它需要清楚水壶的重量、水流的轨迹,甚至要预判洒出水后的处理方式。每一个动作的背后,都是对物理规律的理解和推演,这不是现有AI能力的线性延伸,而是一次底层的技术跃迁。
让机器人的身体知道该做什么、会产生什么后果的核心系统,也就是机器人大脑,至今还没有完成实用化落地。而身体的关节、电机、灵巧手等硬件,供应链已经逐年成熟,因此整个行业的竞争焦点,自然集中在了机器人大脑的研发上。关于如何打造这颗大脑,行业的分歧主要集中在两个核心问题:采用什么样的架构,以及用什么样的数据来训练模型。
先来看架构路线的演变。很长一段时间里,VLA都是行业的主流方案,它直接将视觉和语言信息映射为动作,见效快、门槛低,因此一度受到广泛追捧。但VLA的软肋也越来越明显:它本质上更像一个即时反应系统,只负责处理当下的动作指令,却无法预判动作完成后世界会发生怎样的变化。就像开车时看到红灯会刹车,但无法预判雨天路滑时踩刹车会导致车辆打滑失控。只对当下做出反应,不对后续后果进行推演,这正是VLA无法成为终局方案的根本原因。
正是看到了这一短板,世界模型路线逐渐火热起来。其核心逻辑是:先预测未来的视觉画面,再从画面中反推对应的动作,让机器人学会「先思考再行动」。英伟达将这条路线的「Physical AI」作为年度关键词,多家行业玩家的世界模型在技术榜单上轮番刷榜,行业开始集体从VLA转向WAM(World Action Model)路线。
但爻方团队认为,这条看似正确的路线,其实藏着两个不容忽视的坑。第一个坑是误差累积:主流的世界模型将预测和动作拆分为两步串行执行,先生成未来画面,再从画面反推动作。问题就出在这两步的交接环节,一旦视觉预测出现误差,就会直接传导到动作执行环节,任务时长越长,误差累积的问题就越严重。学界将这个问题称为「可执行性鸿沟」:生成的画面看起来毫无破绽,但在物理层面根本无法实现,机械臂实际执行时就会露出破绽。
第二个坑则更为隐蔽,就是缺乏本体认知。潘嘉曾用打羽毛球的例子来解释:优秀的运动员不仅能预判球的落点和速度,还清楚自己身体的极限能力,知道该跳起来扣杀还是够身救球。但当下的世界模型,恰恰缺失了后半部分的认知——它们大多只关注对外部世界的预测,无论是世界模型还是之前的policy学习,都无法通过任务来强化对自身本体的认知。只预判外部世界,却不了解自身的能力边界,就算画面预测得再准确,机器人也无法完成对应的动作。
这正是爻方要补上的「药引子」:本体认知。
有意思的是,英伟达其实也曾踩过第一个坑。早期英伟达的方案采用标准的两段式架构:Cosmos模型负责生成机器人作业的视频画面,再从画面中反推动作指令。到了2026年2月发布的DreamZero,也就是新一代GR00T 2的基础架构,英伟达调整了思路,将预测画面和生成动作整合到同一个模型中进行联合训练。这说明爻方押注的「联合生成」路线,其实已经和头部玩家走到了同一个路口,但两者的具体实现路径存在显著差异。
在英伟达的方案中,机器人的本体状态只是作为输入信号喂给模型;而在爻方的设计里,认识本体是模型必须完成的核心训练任务——系统只告诉模型未来需要到达的目标位置,让模型自己计算每个关节需要做出的动作。简单来说,一个是将身体状态作为参考条件,另一个则是将身体认知作为必考的训练目标。
这个差异的重要性不言而喻,英伟达自己的技术文档也直白地指出:依靠2D视频做预训练的模型,深度和空间理解能力会出现偏差,预测的画面看起来没问题,但机械臂实际伸手时,要么够过头要么没碰到目标。画面对了但动作落空,根源还是模型不了解自身的身体能力。潘嘉在采访中也曾明确提到这一点:以往的模型无法通过任务来认知自身本体,爻方干脆将逆运动学直接作为训练任务本身。
架构路线的差异逐渐清晰,那么训练数据的问题又该如何解决?机器人的训练数据比语言数据少好几个量级,Scaling Law的 scaling 效应至今没有在机器人领域得到验证,真机数据的泛化能力也迟迟没有公认的解决方案。当下行业可用的数据来源主要有几类,但爻方团队提出了一个令人意外的观点:行业当下最主流的叙事,可能是一个陷阱。
当前行业最普遍的做法是「先量产再采集数据」:先让机器人以最低限度的状态运行,通过自然回流的数据带动模型迭代,让数据飞轮转动起来,最终让模型越来越强。特斯拉验证过的这条路径,被不少机器人企业效仿。但潘嘉对此持保留态度,他认为,如果产品效果不过关就大规模铺货,用户不会买单,数据飞轮根本无法转动。数据飞轮的前提是有用户愿意使用产品,而不是先造出硬件再等待数据回流。
量产之前,首先要跨过实用门槛。盲目上线,最后牺牲的就是品牌,第一个吃螃蟹的人,就变成了先烈。
这番话听起来有道理,但也带来了一个现实的问题:不靠量产积累真机数据,模型的泛化能力从何而来?
爻方的答案就写在那篇技术报告里:用更聪明的架构,把有限的数据用到极致。具体的落地路径有几个关键动作。
针对传统VLA的短板,iFLYTEK-Embodied-Omni在VLM之外,专门引入了VGM(视频生成模型)来负责预测未来的视觉状态。简单来说,就是让机器人在虚拟环境中预演动作的后果,这种「提前预见」的能力在长时序任务中尤为关键:传统VLA往往只能在错误发生后被动补救,而这款模型可以在行动前就主动规避风险。
不过这里有一个值得琢磨的细节:为什么选择视频生成模型来做预测任务?当下行业中可以预测未来的技术路线有三条,而视频生成在不少人眼中属于「不够高级」的路线,但爻方偏偏选择了它。潘嘉对此的解释十分务实:当前的视频生成模型大多采用自回归大模型结合扩散模型的架构,和整套模型的backbone高度契合。因为适配性更好,所以选择了这条路线,未来如果有更成熟的路线出现,也可以灵活切换,当下先选择最可行的方案。
务实正是爻方的底色,就连他们给模型起的名字,也藏着同样的讲究。潘嘉曾解释:除了世界模型,我们还有传统的VLA、policy学习,还增加了像逆运动学这样的任务,所以我叫它Embodied-Omni(统一多模态具身基础模型),而不是直接称作WAM。一个「Omni」,就囊括了理解、预测、动作三个核心环节,其中的逆运动学任务,正是前文提到的本体认知的落地方式。
需要说明的是,「本体感知」在机器人学中并非新概念,传统机器人很早就通过关节角度、扭矩等传感器来感知自身状态,但感知和认知是两回事:传感器可以告诉模型身体当前的位置,却无法让模型理解这具身体能完成什么样的动作。此前的技术路线,无论是VLA还是主流世界模型,都很少将本体认知作为训练目标,融入端到端的具身大模型中。
爻方的做法是:不直接告诉模型手部该如何动作,只给它展示需要到达的目标终点,逼迫模型自己补全中间的每一步动作,以此训练出模型的「身体直觉」。预测外部世界,是让模型学会理解环境;逆运动学训练,则是让模型学会认识自身。比主流世界模型多做这一步,正是爻方的核心取胜之道。
光有核心模块还不够,两个模块如何协同配合也是一门大学问。传统的做法是「大脑思考完,再交给小脑执行」,规划和执行分为两段,信息单向传递,一棒接一棒。这种模式听起来合理,但误差累积的问题始终无法解决。
iFLYTEK-Embodied-Omni将这种串行架构改成了「大脑-小脑协同」模式:VLM(理解规划)、VGM(预判建模)、AGM(动作生成)三个模块,通过共享的多模态自注意力机制实现实时交互。其中VLM和VGM构成高层大脑,负责指令理解、任务规划、进度跟踪和未来预测;AGM则是低层小脑,将规划好的子目标翻译成可以落地执行的具体动作。
还是用打羽毛球的例子来解释:球飞过来时,大脑先判断球速和落点,盘算该如何接这一拍,而小脑同时预判自身身体是否能够到球、需要用多大的力量。两件事并非等一个完成后再启动另一个,而是几乎同时发生、一气呵成。大脑和小脑实时对话,才能让动作既快又稳。
架构设计再巧妙,也需要足够的数据来训练。既然要最大化利用有限的数据,那么选择什么样的数据、如何配比就成了关键。和大多数公司将资金砸在真机数据采集上不同,爻方的数据配比方案恰恰相反:
- 带动作标注的机器人轨迹→26.88%;
- 无动作的人类操作视频→18.95%;
- 通用VQA数据→5.06%;
- 空间推理、感知与任务规划→49.11%。
最引人注目的是最后一类数据,接近一半的训练数据都是2D/3D轨迹、2D/3D定位、空间指向、物体指向、任务规划这类「具身大脑数据」。这些数据不需要真机反复运行采集,却可以结构化地喂给模型,帮助它建立空间感和规划能力。
空口无凭,模型的评测成绩单就是最好的证明。不过在此之前,需要先介绍爻方的训练方法:理解、预测、动作三个模块需要学习的内容差异巨大,如果混在一起训练,模型很容易顾此失彼。因此爻方采用了四步走的训练策略:前三步分别让VLM、VGM、AGM三个模块单独训练,夯实各自的专长;最后一步再进行联合微调,让三个模块在同一个框架中彼此对齐、协同工作。
这套训练方法完成后,模型的成绩相当亮眼:
- LIBERO-Plus零样本基准(七种环境扰动下测试泛化能力):平均成功率89.6%,超过当时最强的VLA和WAM方法;
- RoboTwin 2.0双臂协同基准:标准与随机环境分别拿下93.68%和93.16%,几乎不受环境干扰;
- 长时序任务(连续完成七步,最考验预测能力):随机环境的成绩反而更高,环境越复杂,这套双核大脑的优势越明显。
不过跑分归跑分,能否落地到真机上才是另一个关键考验。好在这条路,科大讯飞已经用真机蹚过了。爻方负责提供模型底座,科大讯飞控股子公司安徽聆动通用则负责工业具身大脑-小脑-本体全链路的自主可控研发,同时兼具本体硬件和系统能力。
但这并不影响核心结论:真机已经可以落地干活,证明这条技术路线是可行的,剩下的只是将大脑替换为更强的版本。方向已经明确,剩下的只是时间问题。
说到这里,很多看似简单的事情也变得耐人寻味。很多人以为这只是科大讯飞成立一家新公司的故事,但背后其实是一家公司十几年的技术积累,终于赶上了一个时代的转向。
先来说说这十几年的积累。讯飞最硬核的家底,其实就藏在文章开头的展会场景里:机器人动作慢是因为怕出错,跨不过实用门槛。而「如何将一项技术逼过实用门槛」,正是讯飞过去十几年做得最多的事情。
早年做语音识别时,讯飞的客户是汽车厂、家电大厂,这些客户并不看Demo演示,只认真正的落地效果:车载语音在方言和噪音环境下能否准确识别,家电产品如果听错一次指令,用户可能就再也不会使用。潘嘉曾感慨,正是被客户逐年提高的要求打磨,才让团队攒下了让技术真正落地的工程化能力。
每一年我们做完一个东西,客户都会提出更高的要求。这里面积累了非常多工程化落地的经验,尤其在大模型时代,非常重要。
当其他团队还在发愁「如何将Demo变成产品」时,这道坎,讯飞已经趟了十几年。从语音识别到具身智能,看似是跨界转型,实则是同一条技术路径往深处延伸。
早些年,讯飞给机器人装上了「嘴巴」和「耳朵」,解决了机器人「能听会说」的问题;2022年推出的「超脑2030计划」,第一次将目标定为让机器人走进千家万户;到今天,机器人超脑平台已经对外赋能了400多家企业。在让机器人听懂人类语言之后,下一个关卡自然是让机器人读懂物理世界。
带队的潘嘉,正是这条技术路径的缩影。他2009年加入讯飞研究院,从语音识别领域做起,曾拿下CHiME、OpenASR等国际评测冠军,也是国家科技进步一等奖的主要完成人。从语音到多模态再到具身大脑,改变的只是交互模态,不变的是讯飞这套将AI技术逼到实用落地的能力。
不过光有积累还不够,还需要赶上时代的浪潮。这几年AI领域最大的变化,就是从语音、文字这类「离身」的交互,转向让机器人用身体走进物理世界,说白了就是战场从屏幕里挪到了屏幕外。对讯飞来说,这个转向来得正是时候,过去积累的AI能力和工程化经验,刚好可以直接应用到新的战场中。
到这里,整个产业布局的分工就清晰了:讯飞出AI底座和产业资源,爻方专攻机器人大脑的研发,聆动通用则拥有最新升级的统一多模态具身大模型iFLYTEK-Embodied-Omni,并负责工业具身大脑-小脑-本体的全链路研发。
至于这盘棋接下来会如何走,聆动通用CEO季超对行业未来两三年的判断十分直白:
资本会越来越看重收入、订单、客户复购和项目回本周期。具身智能下一阶段不会只比谁讲得更宏大,而是比谁能把机器人真正送进工厂,并让客户持续付费。
新公司虽然刚成立,但这盘棋,讯飞其实已经下了很多年。
对了,还有一个有趣的细节:这家公司为什么叫「爻方」?潘嘉说,名字想了很久,最后是一位学哲学的朋友起的。「爻」出自《易经》,是卦象中阴阳变动的最小单元,阴一半、阳一半,这不就是0和1吗,堪称中国最早的二进制。
而「方」则取「变中求方」之意,即在纷繁变幻的世界中稳稳占据一席之地。阴阳会变,但方寸不乱,放在具身智能这个还没人摸透底牌的赛道上,「变中求方」四个字,倒像是提前写好的注脚。
论文地址:https://arxiv.org/abs/2607.02542


