Handroid:形态复用的灵巧手与人形双形态机器人

长期以来,机器人的移动能力与精细操作能力往往分属不同的平台:人形机器人擅长行走、避障等全身交互任务,但在桌面级的精细操作上往往受限;而灵巧手虽然能完成抓取、叠放等精细动作,却大多依赖固定的机械臂和工作空间,无法自主移动到目标区域。这种分工虽然清晰,却让机器人系统被割裂为两个独立部分,难以兼顾移动与操作的双重需求。
为了打破这一壁垒,来自北卡罗来纳大学教堂山分校与斯坦福大学的联合研究团队推出了Handroid——一款高0.33米、重2.05千克、拥有27个自由度的可重构桌面级机器人。这款机器人的核心创新在于,同一套硬件系统可以在两种形态之间自由切换:当需要完成移动、避障、全身交互任务时,它可以变身为一台小型人形机器人;而当需要执行抓取、倒水、叠放等精细操作时,它又能重构为一只多指灵巧手。也就是说,Handroid用同一副躯体,同时承载了移动能力与精细操作能力。
形态复用:重构硬件而非叠加部件
Handroid的设计灵感来自人体与手掌的拓扑结构相似性:两者都由中心区域向外延伸出五条多关节运动链,拇指对应头部,食指、小指对应双臂,中指、无名指对应双腿,手掌则对应躯干。这种结构相似性让同一组关节模块可以在不同形态下承担不同功能,无需为机器人额外叠加独立的灵巧手或移动平台。
团队将27个自由度的机电系统复用于两种形态:在灵巧手形态下,20个自由度组成接近人手布局的五指结构,支持抓取、多指协同与手内操作;通过2个直线移动自由度完成形态切换后,原本的五指模块会变为人形机器人的头部、双臂与双腿,25个自由度共同构成完整的人形身体,其中双腿拥有12个自由度,覆盖人类下肢的主要关节,可支持行走、转向、侧移、下蹲与姿态转换。整个形态切换过程无需拆卸或更换硬件,仅通过模块位置的重新排布即可完成运动链的重组。
为了实现与外部机械臂的顺畅衔接,团队还为Franka Research 3机械臂设计了一款电磁法兰,可实现Handroid与机械臂的快速连接与分离。当目标超出机械臂工作范围时,Handroid可以切换为人形形态,脱离机械臂自主完成移动与环境交互任务;当需要执行精细操作时,它又能切换回灵巧手形态,重新连接机械臂协同完成任务。该法兰在灵巧手形态下可提供约180牛的保持力,保障操作过程中的连接稳定性。
电气与传感:一套硬件支撑双形态需求
形态复用对电气系统提出了极高要求,同一套硬件需要同时支持多指操作与人形运动,既要能连接上位机部署控制策略,又要能在真实实验中监控电源、温度与关节状态。Handroid的主控板尺寸仅40mm×80mm,在有限空间内集成了执行器控制、无线通信、供电管理、温度监测与状态反馈功能。
控制器通过总线读取关节位置、速度、负载与温度数据,并通过无线网络向上位机传输机器人状态。机身与指尖的惯性传感器也实现了复用:在灵巧手形态下服务于手部控制,在人形形态下则作为身体与脚端运动信息的一部分。这种传感复用与形态复用相互配合,让Handroid不再只是机械展示品,而是可以支撑策略学习与真实部署的完整平台。
控制与学习:适配双形态的智能框架
完成机械结构的重组只是第一步,让同一套硬件在两种形态下真正完成任务,才是Handroid在控制与学习层面需要解决的核心问题。
在灵巧手形态下,团队基于Apple Vision Pro搭建了一套臂手协同遥操作系统:该系统可实时追踪操作者的手部关键点,将手指动作重定向到Handroid,同时将手腕运动映射到Franka Research 3机械臂末端,让操作者可以同时控制机械臂与灵巧手。这套系统既可以直接用于执行真实任务,也可以为策略训练采集高质量的示教数据。
基于采集的示教数据,团队训练了物体条件扩散策略,该策略输入物体点云与机器人本体状态,输出连续动作片段,可用于不同形状、不同位姿物体的灵巧抓取。在手内操作任务中,团队还在仿真环境中通过强化学习训练了立方体重定向策略,并将其部署到真实的Handroid上,实现多根手指通过协调接触保持并调整手中的立方体。
在人形形态下,Handroid支持两类控制与强化学习路线:一类是基于参考轨迹的强化学习跟踪,参考动作可以来自零力矩点(ZMP)步态规划器,也可以来自关键帧编辑器中人为设计的动作,强化学习策略会在这些动作基础上进行闭环修正,以适应地面接触、执行器限制与动态平衡等要求;另一类则不依赖预先设计的动作轨迹,直接根据目标速度训练策略,让机器人从前进、转向等速度指令中学习稳定运动。
为了快速设计与验证机器人动作,团队基于Viser对关键帧编辑工具进行了二次开发与优化,用户可以在编辑器中设计动作并快速完成仿真与真机验证,这对于全新的机器人形态尤为重要——即使学习算法尚未收敛,研究者也可以直接探索硬件的能力边界。
真实实验:双形态协同完成全流程任务
在灵巧操作实验中,Handroid展示了抓纸、倒水、叠杯、杯子悬挂、双物体抓取、取出手套等多项真实任务。团队采集了10种物体共100条遥操作示教数据,用于训练物体条件扩散策略。在随机物体位姿的测试中,该策略在10类物体上取得了平均72%的真实抓取成功率,证明Handroid不仅可以被手动控制,还可以支撑从示教、策略学习到真实部署的完整流程。
在手内操作实验中,强化学习策略以30赫兹的频率运行,依赖关节状态与本体感知历史,在真实机器人上完成了立方体的保持与重定向,这类任务对多指协调、接触稳定性、设计合理性、执行器控制与仿真到真实的迁移都提出了极高要求。
在人形实验中,基于参考轨迹的强化学习跟踪在仿真中达到了0.12弧度的关节位置误差与0.0019米的身体位置误差;直接从速度指令学习的策略,在0.20米每秒的前进指令下达到了0.052米每秒的速度跟踪误差。在真实机器人上,Handroid可以完成前后移动、转向、侧移、下蹲、俯卧撑、引体向上与简单的抓取放置任务。
最能体现Handroid设计思路的是一项跨形态长时程任务:任务开始时,Handroid以灵巧手形态连接在Franka Research 3机械臂末端;随后切换为人形形态并脱离机械臂,沿路线移动避障并将箱子推入机械臂的工作范围;完成移动后,它再次切换为灵巧手形态,重新连接机械臂,最终抓起瓶子并放入箱中。这项实验完整串联了形态切换、移动、环境交互、机械臂连接与分离以及灵巧操作,直观展示了在同一平台中研究移动能力与精细操作的价值。
项目价值与研发团队
Handroid的价值不在于证明一台机器人可以解决所有任务,而在于将「形态复用」的理念从设想转化为真实可运行的机器人平台。围绕同一套系统,团队完成了从机械结构、电气与传感,到遥操作、模仿学习、强化学习、步态生成与关键帧动作编辑的全栈开发,为不同方向的研究者提供了一个可以共同研究、验证与扩展的实验平台。
对于机器人学习研究者来说,Handroid提供了全新的任务载体:同一硬件既可以用于研究灵巧操作,也可以用于研究人形运动,还可以用于研究跨形态任务规划与长时程执行。对于机器人设计研究者来说,它提出了一种硬件层面的新范式:未来的机器人硬件是否可以从单一功能最优,走向多形态、多任务与可复用平台的统一设计?
Handroid由北卡罗来纳大学教堂山分校IDEAL Lab与斯坦福大学联合研发完成。项目作者团队包括北卡罗来纳大学教堂山分校的Ruogu Li、Chenyang Ma、Sikai Li、Zhenyu Wei、Yunchao Yao,以及斯坦福大学的Haochen Shi——Haochen Shi此前开发的ToddlerBot是桌面级开源机器人领域的代表性系统之一。项目指导团队包括斯坦福大学教授Karen Liu、Shuran Song,以及北卡罗来纳大学教堂山分校助理教授Mingyu Ding。
北卡罗来纳大学教堂山分校IDEAL Lab长期致力于灵巧操作与通用机器人学习研究,在灵巧手表征、跨平台操作、柔顺交互与人形机器人控制等方向积累了丰富经验,此前提出了跨灵巧手表征方法OHRA、灵巧手操作基准DexVerse、基于电机电流感知的柔顺操作框架Current as Touch,以及面向人形机器人的灵巧移动操作框架CoorDex等多项工作,并多次获得机器人领域顶级会议ICRA的最佳论文奖。
Handroid团队高度重视机器人系统的全栈研发,覆盖从硬件设计到智能算法部署的完整技术链路,包括机械结构设计与制造、电气与传感系统集成、人形运动控制、遥操作、模仿学习与强化学习等多个方面。不同于仅针对单一硬件平台或单一算法模块的优化,Handroid更强调机器人硬件与软件的协同设计与共同演化:机械结构为机器人能力提供基础支撑,稳定可靠的电气与传感系统保障系统运行,运动控制与学习算法则进一步挖掘和释放硬件潜力。Handroid正是在这种软硬件协同、全栈迭代的研发理念下完成的。
论文标题:Handroid: Bridging Dexterous Hand and Humanoid
项目主页:https://handroid.org
构建Handroid所需的CAD模型与BoM清单等资源也全部开源在项目主页中。

