蚂蚁灵波开源LingBot-Touch 破解灵巧手触觉数据壁垒

具身智能在灵巧操作领域的发展正面临一个关键瓶颈:不同机器人灵巧手之间存在难以跨越的触觉数据壁垒,导致不同硬件无法共享感知经验,限制了通用操作能力的提升。
为打破这一壁垒,相关团队推出了面向灵巧操作的触觉预训练基础模型LingBot-Touch。该模型能够统一处理压阻式、视触觉等多种类型的传感信号,将其编码为可复用的通用触觉表征,供不同灵巧手和策略模型使用。
为验证模型效果,团队在两款不同灵巧手(Sharpa Wave和XHand1)上开展了26项真机任务测试,覆盖翻书、拧瓶盖、拉拉链、分拣物体等精细操作,同时接入了四种不同策略模型进行对比。
测试结果显示,接入LingBot-Touch后,四种策略模型在两款灵巧手上的平均任务成功率均达到最高水平。其中,在Sharpa Wave灵巧手上,LingBot-VLA的平均成功率从45.60%提升至72.51%,π0.5从47.56%提升至68.58%;在XHand1灵巧手上,π0.5的平均成功率从49.71%提升至74.17%。
具体操作中,模型带来的提升尤为显著:在Sharpa Wave的拧瓶盖任务中,T-Rex模型不使用触觉信息的成功率为56.25%,直接输入原始触觉数据的成功率为62.50%,接入LingBot-Touch后成功率提升至90%;而在拉拉链任务中,π0.5模型使用LingBot-Touch提取的触觉特征后,成功率从39%提升至59%。
除了提升成功率,LingBot-Touch在新硬件上的迁移能力也值得关注。测试使用的XHand1搭载了未出现在预训练数据中的磁触觉传感器,且触点布局与训练设备存在差异,但固定模型参数仅训练下游策略模型后,成功率依然得到提升。
为适配不同部署需求,团队推出了两个版本:Tiny版本仅有约532万参数,侧重降低计算开销,本次26项任务均使用该版本完成;Small版本拥有更大容量,能进一步提升感知性能,在接近5000小时数据规模下仍能持续优化。
此次发布的LingBot-Touch,为具身智能领域提供了统一的触觉感知基础,有望帮助不同机器人灵巧手共享感知经验,减少数据采集、模型训练和硬件适配的重复投入,加快灵巧操作在更多实际场景的落地。

