文章摘要
给机器人装上触觉传感器,本应让操作更精准,结果却事与愿违——这一反差让不少研究者困惑。某团队开展的实验显示,在SharpaWave灵巧手的五根手指加装触觉传感器后,原本仅靠摄像头完成拉拉链任务的成功率

给机器人装上触觉传感器,本应让操作更精准,结果却事与愿违——这一反差让不少研究者困惑。某团队开展的实验显示,在Sharpa Wave灵巧手的五根手指加装触觉传感器后,原本仅靠摄像头完成拉拉链任务的成功率为39%,接入原始触觉信号后,成功率直接降至15%。

这类情况并非个例:同样是Sharpa Wave灵巧手搭配π0.5动作模型,完成交接盒子任务的成功率从57%掉到48%;更换为低自由度的XHand灵巧手后,六项任务的平均成功率也从49.71%下滑到48%。

问题根源在于触觉数据的特性:机器人手指多数时间不接触物体,读数多为“0”;接触时的信号稀疏且带噪声,且不同传感器的原理各异——视触觉捕捉指尖软胶形变,磁触觉测量磁场,压阻式触觉记录电阻,输出数据差异极大。动作模型无法理解这些杂乱信号,反而造成干扰。

蚂蚁灵波提出的解法是在传感器与动作模型间加入“翻译层”,最新开源的触觉预训练基础模型LingBot-Touch正是这套方案的核心。它能将不同传感器的信号统一编码为触觉Token,提取接触位置、受力大小、力的方向变化等关键信息,让动作模型无需适配多样的传感器数据,就能精准理解触觉反馈。

这套模型的训练分为三个阶段:第一是统一坐标,将不同传感器的触点映射到标准化的指尖空间,为每个Token分配包含时间、手指、三维位置的“地址”,通过旋转位置编码接入模型,无需固定触点数量即可适配不同布局;第二是采用JEPA路线,训练时随机遮挡90%的触点,让模型根据剩余10%的信号预测被遮挡部分的特征,而非还原原始读数,避免模型仅学习“无接触”的背景信号;第三是扩充数据并防止过拟合,预训练数据达4983小时、约13.3亿帧,其中三分之二来自人类戴触觉手套采集的动作,三分之一来自遥操作双臂机器人,训练时还会随机调整触点采样密度与位置,逼迫模型学习接触的通用规律。

真机测试覆盖两款灵巧手与四种动作模型,结果显示接入LingBot-Touch的组平均成功率最高:与不用触觉相比,T-Rex、π0.5、LingBot-VLA的成功率分别提升23.18、21.81、24.81个百分点,仅增加0.13%到0.16%的参数量。尤其是XHand灵巧手的测试,该传感器从未出现在预训练数据中,且模型未做任何参数调整,π0.5的平均成功率从48%升至74.17%,分离叠杯任务的成功率更从32.5%翻番至72.5%。

对比此前的触觉基础模型FTP-1,LingBot-Touch的精度优势显著:在Sharpa Wave上判断接触中心的误差仅0.12毫米,远低于FTP-1的2.19毫米;在XHand上误差从5.89毫米降至0.16毫米,且LingBot-Touch仅用一个冻结编码器,而FTP-1还需为不同灵巧手配备专属适配器。

模型的缩放规律也初步显现:轻量版LingBot-Touch-Tiny在4000小时训练数据时达到饱和,容量更大的Small版在5000小时数据下仍在提升,真机任务成功率随预训练数据量增加而稳定增长。

在蚂蚁灵波的技术路线中,LingBot-Touch填补了接触后的感知空白:此前的通用模型多解决“接触前”的空间定位与规划问题,而当手指接触物体后,视觉信息会被遮挡或干扰,触觉正是此时的关键反馈。比如双手开锁时,钥匙插入锁孔后摄像头无法看清内部情况,只能靠指尖的阻力判断位置,这正是触觉模型的用武之地。

将触觉单独做成基础模型,是为了复用接触经验:不同灵巧手的控制方式不同,但都需要理解接触规律,把接触理解做成可复用的模块,就能让一款硬件的经验成为另一款机器人的起点,这与“一脑多机”的思路一脉相承。这种具身原生的设计,从物理世界的感知与操作出发定义模型,而非依赖数字世界的通用数据。

当前LingBot-Touch已与公司的视觉、深度模型融合,提升手眼协同与精细操作能力,相关成果也在零售分拣、物流分拣等场景开展商业化测试。

放眼整个具身智能领域,通用大模型的进展虽快,但仿真高分与真实世界的泛化性仍有差距。GPT-6 Astra在仿真测试中精度极低,Claude Fable 5.2虽大幅提升仿真成功率,但真机的物理泛化性仍需突破。蚂蚁灵波CEO朱兴认为,通用大模型与具身基础模型是相互促进的关系,而物理操作的泛化性,终究要靠从真实世界原生的模型来攻克。

触觉是物理世界的原生模态,这类经验无法从互联网的文本、图像中获取,只能通过真实交互积累,这正是物理泛化性的根基。LingBot-Touch证明了触觉可以有统一的表征,其设计思路——统一坐标、入口分离、主干共享、特征空间预测——也可延伸到其他感知模态。

过去触觉数据零散,换传感器或手就需重新训练,而这套方案让不同本体的物理经验得以共享。当前行业中灵巧手与传感器种类繁多,这种多样性反而能成为数据优势,只要能把经验转化为通用能力,就能推动整个领域的发展。

正如朱兴所说,“模态输入的质量很大程度上决定了动作输出的质量”,让机器人在真实世界把活干稳的能力,终究要靠具身原生的模型在物理世界中逐步打磨。

以上内容不代表本平台立场,仅供读者参考