零真机遥操数据!TwinDex解锁机器人精细操作

在具身智能落地的进程中,数据采集始终是绕不开的核心瓶颈。传统模式下,要让机器人掌握精细操作,往往需要通过真机遥操来采集大量示范数据,不仅成本高昂,产能也受限于机器人的数量。今年年中,有行业人士在公开场合提出,依赖真机遥操的数据模式已经不再是必选项,而这一说法在数月后得到了实际验证。
近期,某机器人技术团队推出了名为TwinDex的灵巧操作系统,在后训练阶段完全无需真机遥操数据的前提下,机器人就能自主完成化学实验中的旋拧瓶盖、注射器推注等一系列高精度操作。相较于传统方案需要依赖海量真机遥操数据来“手把手”教学,TwinDex仅用了数百条无本体数据就实现了这一突破,几乎无需依赖真实机器人的本体信息。
该团队展示的完整Demo中,有一段一镜到底的化学实验流程最为亮眼:从开瓶取样、滴管与试管操作,到玻璃棒引流、摇匀观察,所有动作均由系统策略自主执行。整套实验包含24个子动作,需要使用三种不同工具,涉及多次双手协调与工具切换,每一步都要求毫米级的定位精度与稳定的力控表现。
拆解来看,TwinDex的三指灵巧手展示了三类极具挑战性的操作能力。首先是高精度精细操作:比如打开工具箱时,机器人需要让左右两根食指同时对准狭窄卡扣,精准插入后向下拨开,再用食指和拇指捏住提手打开箱盖,核心难点在于如何让机械手进入容差极小的空间完成操作;注射器推注也是类似的场景,食指和中指固定筒身,拇指对准推杆发力,既要保证位置不偏移,又要精准控制推注的方向与力度。随着具身智能走进实验室、工厂与家庭,这类小容差、高精度的强接触操作,正逐渐成为机器人的基础能力。
其次是三指协作能力:在扫帚簸箕这类任务中,三根手指围绕手柄形成包络结构,不同手指共同承担支撑与控制的作用,相较于两指夹爪,第三根手指多了一个接触点,能提供更稳定的物体握持方式,在工具使用、长条物体抓持等场景中尤为关键。
最后则是更接近人手的柔性操作与掌内调整能力:比如拧开瓶盖时,TwinDex用食指和拇指捏住瓶盖,依靠手指自身的侧摆完成旋转,几乎无需大幅转动手腕;在翻书任务中,机器人的拇指先搓开最上层书本,再完成捏取、双手交接、放置与翻页等动作。
不少人在看到这类操作时,第一反应会想到结构更复杂的五指灵巧手与庞大的真机遥操数据,但TwinDex的Demo证明:很多过去认为需要五指才能完成的精细操作,三指灵巧手就足以胜任,甚至在部分场景中的表现优于不少五指灵巧手。
不过,以上展示的只是TwinDex作为机器人执行器的一面。在机器人真正上手工作之前,它还有另一重核心身份:一套与执行端匹配的可穿戴无本体数据采集系统。
与很多数据采集与机器人执行阶段使用两套不同硬件的方案不同,TwinDex采用了数采与执行同构的设计,简单来说就是,这套三指结构不仅负责执行任务,采集数据也使用完全相同的硬件结构,也就是所谓的“所采即所得”。采集人员在采集端做出的动作,可以直接映射到机器人执行端,无需跨不同硬件进行复杂的数据迁移。
这种设计不仅让高精度操作的复现更加稳定,还让数据采集过程更自然高效,相较于直接遥操笨重的机器人,采集人员可以用更贴近日常的方式完成动作,不仅采集效率更高,成本也更低。
相关实验结果也验证了这一点:在采集效率方面,TwinDex单位时间产出的有效轨迹约为传统真机遥操的5.3倍,相同时间内,一名采集人员就能产出更多可用于训练的有效数据。
随着数据量增加,无本体数据和真机遥操作数据训练出的策略,会以相同的速率持续提升,并最终收敛到接近的表现。
也就是说,在本次实验覆盖的任务中,无本体数据几乎可以100%替代真机遥操数据用于模型训练。
作为数据采集器,TwinDex解决的不只是“如何更快采集数据”的问题,更关键的是在提升采集效率的同时,尽可能减少数据迁移到机器人身上时的精度损失,最终指向的核心问题是:如何让无本体数据真正成为机器人可用的训练数据。
严格来说,TwinDex并不只是一套三指灵巧手,而是一套由数据采集硬件、机器人末端执行器、数据处理管线与模型训练流程共同组成的完整灵巧操作系统。它并非简单让采集端与执行端外观一致就能完成数据迁移,而是从“仅依赖无本体数据完成后训练、无需真机遥操数据”的目标出发,反向设计了整套系统。从灵巧手的构型、采集设备的运动方式,到视觉观测、时间同步、数据处理,再到最终的模型训练,所有环节都围绕一个核心问题展开:如何让采集到的数据从一开始就尽可能接近机器人真正需要的数据。
从实际Demo的功能分工来看,拇指与食指承担了大量对掌、捏取、旋拧与精细操作,第三根手指则提供包络、支撑与稳定作用。整套TwinDex的设计可以概括为三个核心特性:灵巧性、一致性与可扩展性。
第一个特性是灵巧性:TwinDex没有选择UMI这类常见的两指夹爪,也没有照搬人手的五指结构,而是在灵巧性、稳定性与工程复杂度之间找到了平衡。众所周知,手指越多、结构越接近人手,理论上的灵巧操作上限越高,但同时也会增加更多关节、驱动器与传感器,带来更高的标定、控制与维护成本。而两指夹爪虽然结构简单,却难以覆盖旋拧、掌内调整、多点接触等精细操作。经过基础抓取、原地旋拧、工具使用与掌内操作等元操作测试,并与多种候选构型对比后,团队最终确定三指九自由度是当前的最优方案,能够以相对可控的复杂度覆盖绝大多数任务所需的灵巧能力。
第二个特性是一致性,这也是TwinDex减少真机遥操数据需求的核心关键。这里的一致性指的是,TwinDex的数据采集端与最终执行端在运动方式、接触方式、视觉观测、采集精度与时间同步等方面都尽可能保持一致。
过去很多无本体数据方案虽然容易采集,但在迁移到机器人身上时,往往会因为采集端与执行端并非同一套本体,导致动作难以原样复现,存在运动学差异与精度损失。这类数据虽然容易规模化,但很难直接用于训练目标机器人,很多时候还需要补充真机遥操数据来完成本体对齐与后训练。
TwinDex的一致性设计正是为了解决这一问题:它没有等到数据采集完成后再想办法让数据适配机器人,而是在硬件设计阶段就让采集端与执行端尽可能同构,将原本在数据处理阶段的“本体对齐”工作提前到了数据产生之前。这样一来,无本体数据迁移到机器人身上时的损耗就能被尽可能压低,也就减少了补充真机遥操数据的需求,这也是为什么TwinDex能够在不新增目标机器人真机遥操示范数据的前提下,仅用数百条无本体数据完成后训练,实现前文展示的精细操作。
第三个特性是可扩展性:TwinDex的数据采集端是一套可穿戴的三指外骨骼,最大的优势在于采集数据时无需占用真实机器人,也不需要局限于固定工位。操作人员佩戴设备后,就能直接完成旋拧、按压、工具使用等动作,相较于通过控制器遥操机器人,这种方式更贴近人的自然操作,手部可以直接接触物体并获得真实的力反馈,无需额外适应空间映射与通信延迟。
更重要的是,数据采集不再与机器人数量一一绑定,多名操作人员可以在不同地点同时采集数据,再将数据统一汇总到同一套处理与训练管线中。采集过程中,系统会同步记录视觉、关节状态、手腕位姿等多模态信息,再通过标定、时间同步与标准化处理,将来自不同操作人员、不同地点的数据整理到统一的训练空间中。不过随着采集规模扩大,不同设备与操作人员带来的抖动、漂移与定位误差也会成为新的问题,因此团队也在模型架构与训练流程中做了相应设计,让模型能够容忍一定范围内的采集误差,最终将这些数据学习为机器人可以闭环执行的策略。
到这里,TwinDex的三条设计逻辑已经非常清晰:灵巧性决定了它能够完成哪些任务、采集哪些数据;一致性决定了采集到的无本体数据能否顺利迁移到机器人身上;可扩展性则决定了这套采集方式能否真正实现规模化。
TwinDex真正值得关注的,不只是“数据采集效率更高”,它进一步证明了一个重要结论:最接近机器人动作的高质量数据,未必只能由真实机器人生产。过去两年,遥操真机数据一直处于具身数据金字塔的顶端,它的质量最高,因为视觉、关节状态与末端轨迹天然对齐,但代价也最为高昂——每采集一条数据,都需要真实占用一台机器人。同时,机器人的部署、维护成本,以及操作人员学习遥操的成本,都让机器人数量成为数据产能的上限,真正实现规模化变得非常困难。
正因如此,整个具身智能社区近两年都在探索新的数据采集策略,核心思路都是用更容易规模化的无本体数据,降低对真机数据的依赖。但这其中一直存在一个两难的困境:采集方式越自由,数据越容易规模化,但采集端离真实机器人越远,后续的映射与迁移难度也就越大,尤其是人手与机器人在结构、自由度与接触方式上的差异,会不断引入动作重定向与精度损失。
而TwinDex的方案,正是在可扩展性与数据保留的物理信息丰富程度之间找到了新的平衡点:它没有彻底放弃机器人本体带来的约束,而是将机器人真正需要的动作结构提前“复制”到了数据采集端。因此在已经展示的任务中,仅需数百条无本体数据,就完成了过去后训练阶段通常需要真机遥操数据承担的对齐工作。
当然,在具身智能数据方案还远未成熟的今天,考虑到任务覆盖与数据多样性的需求,我们还不能直接宣告传统遥操模式的终结。但至少有一点已经越来越明确:高质量数据与真机遥操之间的强绑定正在松动。如果无本体数据在后训练阶段能够逐渐获得接近真机数据的训练价值,那么接下来值得探索的,就是一条属于无本体数据的规模化增长规律。在真正将无本体数据的规模做大、验证这条规律之前,TwinDex已经在当前的时间节点给出了自己的答案:那个需要从真机遥操数据开始才能扩展新任务的时代,正在走向结束。

