蚂蚁灵波开源LingBot-Touch 提升机器人触觉操作成功率

据行业观察,一款面向灵巧操作的触觉基础模型正式开源,名为 LingBot-Touch,为机器人通用大脑补齐了关键的触觉感知能力,将通用大脑的感知能力延伸到“指尖”,让机器人“摸得更灵敏”,进一步提升了具身原生通用大脑的能力。
该模型基于近 5000 小时的真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,能将不同信号转化为同一套触觉表征,让积累的“手感”实现跨传感器、跨灵巧手、跨模型和跨任务复用。在 26 项真机测试中,接入这一表征后,四种动作模型的平均任务成功率较无触觉时提高约 14 至 26 个百分点。
看清之后,为什么还需要“摸得灵敏”?
在真实物理世界中,机器人每执行一步动作,都需要感知物体和环境的变化,再修正下一步动作。许多精细操作里,看清物体的位置、把手伸到正确的地方,并不意味着任务就能顺利完成。接触之后受力是否合适、物体是否滑移,仅靠视觉往往难以判断。
以拧瓶盖为例,深度信息可以帮助手指对准瓶盖。但开始转动后,瓶盖可能已经松动,也可能是指腹沿着盖壁打滑。这两种情况在画面中相似,却需要不同的动作调整。指尖的接触位置、受力大小及其变化,成为动作模型的重要判断依据,而这些信息往往被手指和物体遮挡,视觉难以获得。
为验证触觉表征对真实操作的帮助,团队在两款灵巧手上进行了 26 项真机测试,涵盖翻书页、拧瓶盖、辨识麻将牌等精细操作。接入 LingBot-Touch 后,四种动作模型的平均任务成功率,较无触觉时提高约 14 至 26 个百分点。其中,在控制灵巧手拧瓶盖的任务中,不使用触觉时的成功率为 56.25%,直接输入传感器原始信号时为 62.5%,接入 LingBot-Touch 的触觉表征后,成功率达到 90%。这一系列真机实验表明,高质量触觉信息输入可以为机器人动作成功率带来显著提升。
统一触觉表征,跨灵巧手、跨模型复用
给机器人装上触觉传感器,并不等于它就能用好触觉。商用触觉传感器整体仍处于较早的发展阶段,视触觉、磁触觉、压阻式等路线各有优势和局限。面向不同成本和使用场景,多种路线可能长期并存。更棘手的是,同样一次接触,在不同传感原理和触点布局下,会形成不同的原始信号。如果模型只学会解读其中一种,更换传感器或灵巧手后,已有的数据和触觉经验就可能难以复用,需要重新采集、训练和适配。
团队的思路是,让触觉理解摆脱对特定传感器物理信号的依赖,使不同来源的数据能够共同用于训练,让积累的触觉能力跨灵巧手和跨动作模型复用。为此,LingBot-Touch 按传感原理分别设置编码入口,先处理不同的原始信号,再将不同布局的触点映射到统一的指尖坐标空间。共享模型学习接触位置、受力及其随时间的变化,输出统一的触觉 Token——供不同动作模型使用的触觉表征。
在这一架构下,人戴触觉手套和遥操作灵巧手采集的数据可以共同用于训练,不同动作模型也可以利用训练好的模型提取接触特征。这一架构还为未来接入新类型的触觉传感器留出了扩展空间。在另一款灵巧手的测试中,其采用的磁触觉传感器型号并不在预训练数据中,模型学到的磁触觉经验全部来自人戴手套采集的数据,保持 LingBot-Touch 参数不变,只用该灵巧手的操作示范训练动作模型,实现了跨硬件复用。
为兼顾感知能力与端侧算力,团队提供了两种容量的模型。此次 26 项真机测试全部使用约 530 万参数的轻量版完成,接入多款动作模型后,模型参数量仅增加约 0.13% 至 0.16%。容量较大的版本在感知测试中表现出进一步提升的潜力:当预训练数据增至近 5000 小时时,模型仍能从新增数据中获益,说明触觉预训练还有持续扩展提升的空间。
坚持具身原生,持续探索物理操作泛化性
以数字世界大模型为代表的进展,赋予了机器人更强的复杂任务推理能力。但要真正跑通物理操作闭环,物理操作泛化性仍然绕不开,需要具身基础模型的不断突破。在通用大模型加速演进的时点,LingBot-Touch 的发布正是团队对“具身原生”路线的持续投入和笃定——不同于面向数字信息的多模态范式,机器人身处真实物理世界,信息从传感器来,作用到环境中去,既需要理解深度这类空间感知信息,也需要处理触觉、力觉、温度等接触感知模态。模态输入的质量,很大程度上决定了动作输出的质量。
未来,团队将继续坚持“具身原生”的技术主张,从真实物理世界的需求出发,探索物理操作泛化性的新上限,打造跨构型的机器人行业通用大脑,推动视觉、深度、触觉等更多物理模态在统一模型中对齐,并在推进商业化的同时持续向社区开源开放。

