杨朔团队TouchWorld：触觉世界模型赋能机器人精准操作
据行业观察，近期破晓智能团队发布了一项针对机器人灵巧操作的触觉基础模型研究，旨在解决视觉无法判断物理动作是否真正完成的核心问题。
当机器人试图按压喷壶扳机时，视觉镜头捕捉到指尖已经贴在按钮上，系统也判定动作完成，但实际水流并未喷出——这是因为视觉只能识别“指尖接触按钮”的画面，却无法分辨“是否真正按下扳机”，而触觉传感器可以精准感知接触位置、压力大小等物理细节，直接判断动作是否真的达成。
针对这类“看起来做对了，物理上却未完成”的操作失败，破晓智能创始人、哈工大（深圳）长聘教授杨朔及其团队发布了最新研究《TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation》。该模型让触觉同时承担两种核心角色：在行动前预判“应该形成怎样的接触效果”，在实际接触后根据真实反馈快速修正动作。
在浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾六项真机任务中，TouchWorld在无额外干扰的场景下取得65.0%的平均成功率；加入目标移动、抓握干扰等人为扰动后，成功率为57.2%，分别超过最强基线15.7和16.0个百分点。每项任务采集了200条遥操作训练轨迹，并进行了100次真机评测。
杨朔曾获Google PhD Fellowship，是当届全球9位获奖者之一；博士阶段的工作入选ICLR Best Paper Finalist，26岁回国任哈工大（深圳）长聘教授、博导，同年获评国家级青年人才。目前他创立的破晓智能，已组建起一支数十人规模、覆盖数据、模型、机器人控制与硬件系统的具身智能团队。
TouchWorld并非偶然的“论文突袭”，其背后是杨朔团队从人类数据采集、触觉建模，一路推演到机器人灵巧操作的完整技术路线，也是破晓智能首次将这条路线完整呈现。
触觉的双重能力：前置预判与实时纠错
TouchWorld标题中的两个核心关键词是Predictive（预判）和Reactive（反应），分别负责动作前的目标设定和动作中的实时修正。
所谓Predictive能力，是让机器人在正式启动动作前，同时预测两个目标：一是任务完成时的视觉画面，二是对应的触觉反馈——具体哪根手指需要施加压力、压力出现在指尖还是掌侧、接触强度达到何种标准。这张触觉预测图相当于为机器人设定了物理世界的真实目标，只有当指尖真正压出预期的接触效果，而非仅视觉上看起来完成动作，才算任务达成。
但在真实环境中，仅知道目标远远不够：杯子可能比训练时偏斜几厘米、插头接触插座后可能角度偏移、灵巧手长时间运行后关节因发热松动出现误差，甚至在执行过程中有人或物体干扰。如果每出现一点变化都让上层大模型重新观察推理，速度会远远跟不上实时操作的需求。
因此TouchWorld增设了Reactive路径：当机器人接触物体后，系统会持续读取最新的触觉信号和关节状态，在原有动作基础上叠加细小修正，比如微调手指位置、增加握力、调整手腕角度。上层策略负责规划“整体行动方向”，触觉反馈则负责保证“接触后不走偏”，这类似人类拿取湿滑玻璃杯的过程：大脑规划抓取姿势，但碰到杯壁感受到滑度时，手指会自动调整握力，无需重新思考整个动作流程。
触觉并非仅在失败后提醒“操作出错”，而是同时参与行动前的目标预测与行动中的实时纠错。
为何不能直接把触觉塞进统一视觉语言模型？
按照常规思路，视觉语言模型（VLA）已经整合了视觉、语言和动作数据，加入触觉似乎顺理成章。但杨朔团队发现，触觉并非可以直接拼接的“新积木”，其信息密度、出现时机和处理速度都与视觉完全不同：如果硬塞进同一个模型，很可能出现视觉“淹没”触觉的情况，模型只会依赖视觉数据而忽略触觉信息。
首先，触觉数据本身非常稀疏：一个两分钟的任务中，真正的接触过程可能仅十几秒；而视觉图像是百万级像素，单手触觉数据却仅有几百维。如果与视觉、语言同频训练，模型很容易“偷懒”，仅依靠视觉完成任务。
更关键的是，任务规划、动作生成和接触纠错本就不应该共用同一时间尺度。因此TouchWorld没有打造“大一统”的单一模型，而是将系统拆分为三个层级：
- 1Hz的高层模块：负责拆解整体任务，预测视觉和触觉目标；
- 10Hz的中层模块：根据目标生成主体动作路径；
- 30Hz的触觉反应层：根据实时接触和关节状态持续修正动作。
这种分层设计实现了“慢规划、中速执行、快速纠偏”的分工，让每个模块处理最适合自身时间尺度的任务。
消融实验验证了这种分层的必要性：完整TouchWorld在无扰动和人为扰动场景中的平均成功率分别为65.0%和57.2%。如果拿掉触觉输入，成功率降至43.3%和30.0%；拿掉30Hz触觉修正层后，成功率降至55.3%和40.3%，在目标移动或抓握受扰的场景中表现尤为明显。如果去掉触觉世界模型，成功率降至60.2%和51.2%；去掉子任务规划模块，则降至55.5%和46.2%。
研究还有一个有趣的发现：经过任务阶段监督和记忆增强的4B子任务规划模型，准确率达到91%，反而超过零样本32B大模型的84%。这说明在层级系统中，单纯增大模型规模未必最优，让模型明确当前任务阶段、已完成操作和后续可执行动作，可能更为关键。
虽然65%的成功率还不足以完全解决灵巧操作问题，但该研究至少证明：相比将触觉简单整合进统一策略，明确拆分“接触预测”和“实时反馈纠错”的模式更加有效。
触觉从何而来，又如何真正落地应用
TouchWorld并非从零开始，其背后是团队长期围绕“机器人如何学会触觉”的技术路线积累。早在该研究之前，团队就已经在解决两个核心问题：一是如何获取足够的触觉数据，二是如何将触觉数据规模化应用到机器人操作中。
为此团队推出了Touch系列技术：首先用EgoTouch采集人类操作中的第一人称画面、手部姿态和双手压力数据；随后通过TouchAnything学习视觉与触觉的对应关系，让模型可以从普通视频中推测接触位置和压力分布；最终到TouchWorld，让触觉从“被采集、被预测”走向“被机器人真正使用”，既用于行动前的接触预测，也用于行动中的实时纠错。
在解决触觉数据采集问题时，团队发现互联网上并不缺少人类操作视频：拧瓶盖、切菜、拿杯子、使用工具等动作每天都被相机记录，但普通视频只能捕捉手部移动和物体变化，无法展示手与物体接触时的压力分布。
为此团队搭建了穿戴式采集系统：采集者头部佩戴第一人称相机，左右手腕各安装一台近距离相机，同时佩戴双手姿态追踪设备和密集触觉手套。一次操作会被同步记录为多路RGB视频、双手3D姿态以及左右手的连续压力分布。最终形成的EgoTouch数据集覆盖208项操作任务、1891段交互、超过20小时视频、约210万帧数据和1000余个物体，场景横跨家庭、办公室、工作台、零售和户外环境。
TouchAnything的意义并非让摄像头完全替代触觉传感器，而是解决触觉数据的规模化问题：先用有限的真实触觉数据让模型学会视觉与触觉的对应关系，再为大量原本没有触觉标注的人类视频补充触觉监督。
但能够“推测人手的触觉感受”并不等于机器人可以直接使用这些信息。TouchWorld的出现正是为了打通这最后一环：其触觉世界模型先在20.2小时的EgoTouch人类交互数据上预训练，让模型接触多样化的人类操作和接触模式；再使用10小时的机器人演示数据进行微调，将这些先验知识适配到具体的机器人灵巧手、触觉传感器和动作空间。
至此整条技术路线完全闭合：EgoTouch解决触觉数据如何采集，TouchAnything解决无标注视频如何恢复触觉，TouchWorld解决机器人如何利用触觉完成目标操作与实时纠错。
从零搭建全栈能力，破晓智能的工程挑战
结合TouchAnything和TouchWorld的技术路线，可以清晰看到破晓智能的定位：它并非单纯的触觉硬件厂商或数据服务商，而是以训练和迭代可迁移到真实机器人的基础模型为核心目标。
杨朔团队的技术路线延续了Data-Centric AI的研究思路：在进入具身智能领域之前，他长期关注数据质量、噪声处理和训练效率；到机器人领域后，首先追问的并非“如何优化模型结构”，而是“什么样的数据路线可以支撑能力持续扩展”。
如果说TouchWorld解决的是“机器人如何精准触碰物体”，破晓智能的下一步目标是让机器人“整个身体移动到位，再完成复杂操作”。为此团队正在推进更完整的人类数据采集方案：除了第一人称头环和触觉手套，还增加了腰带与脚踝柔性绑带，分别捕捉移动、转身、弯腰、下蹲和踮脚等全身动作。
真实的人类操作很少局限于固定桌面：做家务需要在房间移动，取高处物品需要踮脚，整理地面物品需要下蹲，搬运时还要兼顾平衡、移动和双手协同。破晓智能希望学习的不仅是“手如何抓取”，更是“人类如何在真实空间中移动到合适位置，再完成接触密集的复杂操作”。
但TouchWorld的研发并非基于现成的稳定软硬件平台：触觉数据存在不足，商用触觉手套存在噪声、漂移和批次差异，高自由度、全掌触觉且稳定的灵巧手也难以直接采购。杨朔团队凭借工程化能力，让TouchWorld不仅停留在模型设想，而是真正走到了完整系统和真机验证阶段——市场上没有现成方案，团队就自行改造硬件、搭建数据管线、训练模型、搭建控制闭环；评测体系也需要重新设计任务、采集数据、设置标准和扰动场景，再反复进行真机测试。
这意味着破晓智能真正要搭建的并非单点模型，而是一整套全栈能力：从人类数据采集和触觉数据清洗，到视觉-触觉对齐、世界模型训练、灵巧手遥操作、真机策略部署，再到传感器适配和统一评测环境。
目前团队已经覆盖机械设计、嵌入式开发、数据基础设施、世界模型训练和真机部署等多个环节，这是破晓智能敢于将目标指向全身移动灵巧操作的底气，也构成了相比单一模型方案更完整的技术壁垒——单个模型架构可以被追赶，但数据、硬件、模型和评测体系共同形成的闭环难以复制。
团队计划逐步开源EgoTouch、TouchAnything和TouchWorld相关的数据、代码与模型，并继续推进五指灵巧手、触觉世界模型和全身移动操作方向的研发。
视觉让机器人知晓世界的样貌，触觉让机器人确认自己是否真正改变了世界。破晓智能想要做的，正是让这种触觉能力不再局限于传感器读数，而是成为机器人基础模型的核心组成部分。
TouchWorld
TouchAnything
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/
AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。
