Being-H0.8：首个隐式触觉世界-动作模型，50万小时视频数据支撑高难度任务
国内具身智能企业智在无界近日推出了首款基于人类视频数据训练的隐式触觉世界动作模型——Being-H0.8。在真实双臂机器人测试中，该模型顺利完成了包中取物、毛笔书写、挤牙膏、夹取薯片等需要精细触觉反馈的复杂操作任务。
这款集成触觉能力的隐式世界-动作模型，在预训练阶段就实现了两大核心突破：不仅能让机器人预判即将发生的物体接触动作，还能在实际接触过程中，通过实时触觉反馈动态调整后续执行动作。和以往仅以视觉画面为核心制定动作的世界模型不同，Being-H0.8首次将触觉完整融入了“预测-执行-反馈”的全流程：模型先基于当前视觉画面预判可能的接触动作，在执行过程中实时读取最新触觉数据，据此重新规划接下来的小段动作。
为了实现这一技术路径，Being-H0.8从数据构建、模型架构和控制逻辑三个维度同步发力：
- 数据层面：团队联合数十家合作伙伴搭建了超50万小时的原始视频数据池，经过处理形成高质量训练数据集UniHand-3.0，并通过自研的TactoHand系统生成接触和邻近度标注；
- 模型层面：预训练阶段以动作执行后记录的视觉和触觉结果作为监督信号，让模型仅通过当前任务指令和视觉画面，就能预判后续的接触动作；
- 控制层面：每个动作块启动时先生成完整动作计划，每执行一小段就读取最新的机器人状态和触觉数据，仅重新计算接下来的小段动作。
这款模型最引人关注的两大亮点，分别是创新的隐式触觉世界-动作模型架构，以及超50万小时的大规模训练数据集。
对于具身智能模型来说，触觉不仅是实现精细操作的关键，还能帮助模型完成仅靠视觉无法实现的接触状态推断。过去两年间，全球学界围绕触觉赋能具身基础模型展开了大量探索，包括李飞飞、徐丹飞、Wenzhen Yuan、宋舒然在内的多位研究者都在推进相关方向的研究。但如果将研究聚焦到世界模型领域，如何将触觉有效地融入世界模型的闭环，仍然是一个尚未完全解决的开放性问题。
一方面，当前主流的世界模型大多以视觉为核心，虽然可以准确捕捉物体的移动、形变等视觉变化，却很难精准判断接触是否发生、接触的具体位置，以及物体承受的作用力大小。另一方面，虽然触觉传感器的种类繁多，但不同传感器的数据形态和表征方式并不统一；更现实的困境是，绝大多数现有的大规模人类视频和机器人数据集，都没有同步记录触觉信息。这意味着，想要训练具备触觉能力的世界模型，不仅缺乏统一的触觉表征标准，也难以获取规模化可用的训练数据。
Being-H0.8正是智在无界针对这一行业痛点提出的系统性解决方案。它在Being-H0.7隐式世界-动作模型的基础上，首次将触觉模态纳入隐空间表示体系，将原本以视觉预测为主的建模方式，拓展为隐式触觉世界-动作模型（Latent Tactile World-Action Model），并将触觉预训练的覆盖范围扩展到可规模化采集的第一视角人类视频数据。
这款模型的核心设计思路在于，并不试图在像素层面完整重建未来的视觉画面，而是在隐空间中预测与任务高度相关的交互后果——比如是否会发生接触、接触可能带来的物体状态变化，再基于预测出的潜在状态进一步调整动作生成逻辑。简单来说，Being-H0.8不仅能让机器人“看到”即将发生的场景变化，还能从没有显式触觉标注的人类视频中，学习对接触状态和受力结果的隐式判断能力。
具体来看，Being-H0.8由四个核心模块组成：
- 负责预测交互后果的混合Transformer（Mixture of Transformers, MoT）；
- 兼顾推理效率与实时反馈的慢-快动作专家；
- 统一不同触觉输入的通用触觉编码器；
- 对齐不同手部动作空间的TopoHand。
其中，通用触觉编码器的作用是将不同传感器采集到的触觉信号，转换为统一格式的触觉token，从而消除不同设备、不同数据形态之间的异构性问题。慢-快动作专家则负责平衡推理效率和实时接触反馈：慢速流模块会缓存视觉、语言和隐式世界状态等计算成本较高的上下文信息，维持整体任务和动作计划的连贯性；快速流模块则在动作执行过程中，实时读取最新的机器人状态和触觉反馈，仅重新生成接下来的小段动作。这样的设计让机器人无需在每次触觉变化时都重新计算完整动作计划，却能根据滑动、受力变化或接触偏移等情况及时调整动作。
在训练阶段，未来时刻的触觉token会被送入MoT的后验分支，帮助模型学习真实接触发生后，世界状态的变化规律。而在部署阶段，MoT负责提前预测交互后果，慢速流模块维持整体上下文，快速流模块则根据最新的触觉反馈实时修正动作。通过这套机制，触觉不再只是动作完成后的附加反馈，而是真正融入了机器人的预测、执行和调整全流程。
说完了模型架构的创新，另一个关键问题随之而来：如此大规模的触觉训练数据从何而来？这正是Being-H0.8的另一项核心突破。
作为国内最早一批探索利用大规模人类视频预训练具身基础模型的企业之一，智在无界多年来一直沿着人类视频预训练的技术路线持续积累数据，并将其应用于具身基础模型的训练。Being-H0.8的数据底座，正是这条技术路线长期迭代的成果。
从Being-H0到Being-H0.8的持续迭代过程中，智在无界已经汇聚了超过50万小时的第一人称操作视频数据，并与数十家数据供应商建立了合作关系。这些视频数据覆盖了自然物体交互、长时程任务、丰富手部动作和多样场景，为具身模型提供了大规模的人类交互经验，据团队介绍，这也是目前国内规模最大的人类操作视频数据池。
不过，50万小时的原始视频并不等于可以直接用于训练的有效数据。这些原始视频中混杂了大量无手部动作、缺乏有效操作、镜头剧烈抖动、与桌面物体交互无关或内容高度重复的片段；同时不同数据源在场景、任务、视角和动作分布上也存在显著差异。为此，团队搭建了一套面向数十万小时视频的数据处理管线，对原始数据进行过滤、去重、切分、语言标注和分布再平衡。
首先，团队会剔除无效片段，将长视频切分为连续的短片段，并为每个片段补充细粒度的语言描述。但仅有画面和文字标注还远远不够——具身模型不仅需要知道画面中发生了什么，还需要了解人类手部的状态和执行的具体动作。
对于缺乏准确动作标注的人类视频，团队使用MANO模型统一表示手部状态，通过HMR（Hand Motion Refinement）算法恢复并细化裸手的运动轨迹，再利用Caliball工具补齐缺失的相机参数，从视频中提取出可用于模型学习的手部动作信息。对于机器人数据集，团队则重新整理了规范化的URDF文件，统一了关节约定、相机坐标系和手腕位姿表示，并针对每个数据集完成校准、同步和验证。此外，团队还会逐项检查数据的完整性、运动学一致性、跨模态同步情况，以及语言描述与视频内容的匹配度。经过过滤、重建和标准化处理后，来自不同来源的人类视频和机器人轨迹被整合为统一格式的训练数据，最终形成了UniHand3.0训练数据集。
不过，到这里的数据集仍然缺少最关键的一环——触觉信息。经过清洗、重建和标准化后，模型虽然获得了大规模的操作数据，但依然无法直接得知接触发生的位置、力度变化，以及物体在接触后的反馈情况。Being-H0.8的另一项核心工作，就是将这些原本没有触觉记录的视频，转化为可用于模型训练的触觉数据。
整套触觉数据转换流程可以分为四个步骤：
- 第一步，利用自研的TactoHand系统从普通人类视频中恢复接触位置和邻近关系；
- 第二步，引入压力手套等真实传感器数据，为视觉推断补充物理压力信息；
- 第三步，通过通用触觉编码器，将不同来源、不同粒度的触觉信号统一为固定格式的触觉token；
- 第四步，利用TopoHand系统对齐人手、灵巧手和平行夹爪的结构与动作空间。
通过这套流程，原本没有显式触觉记录的人类视频，最终被转换为可用于世界模型训练的统一触觉与动作表征。
Being-H0.8首先提出了TactoHand系统，用于从无触觉标注的人类视频中预测稠密的伪触觉监督信号，解决了大规模人类视频普遍缺乏触觉信号的痛点。TactoHand的核心思路是，无需为每段人类视频同步采集真实触觉数据，而是通过手部和物体之间的三维几何关系，推断接触是否真实发生。在带有三维标注的数据集上，系统可以获取已配准的手部网格和物体网格，通过计算手部顶点与物体表面的距离，并结合两者的表面方向，TactoHand可以判断手部不同位置是否与物体发生接触。在此基础上，TactoHand会在MANO手部表面的778个顶点上预测两类信息：一类是接触标注，用于判断哪些位置已经与物体接触；另一类是邻近度标注，用于描述手指从靠近物体到真正接触的连续过程。这套模型使用21个物-交互数据源、总计3010万帧数据进行训练，并引入时序信息辅助判断——毕竟，单张画面中看似贴合的手和物体，可能只是视角造成的重叠，结合连续动作序列才能更准确地判断接触是否真实发生。训练完成后，TactoHand可以应用到普通第一视角视频中：UniHand3.0会先重建并跟踪视频中的手部运动，再将预测出的接触和邻近度信息映射回统一的MANO拓扑结构；对于重建结果不可靠的位置，系统会将其标记为无效，而非直接判定为无接触。
不过，仅通过视觉推断接触状态，终究无法完全替代真实触觉传感器的作用。几何关系可以帮助模型恢复接触位置和邻近程度，却很难完整获取压力、摩擦、剪切力、滑移和材质等更细致的物理信息。因此，UniHand3.0还加入了约55小时、540万同步帧的压力手套数据，并将真实压力信号投影到同一套MANO手部表面。两类数据形成了很好的互补：大规模人类视频可以覆盖更多的物体、场景和动作类型，而真实触觉传感器则能提供更准确的物理压力信息。
但即便有了触觉数据，不同来源的数据格式依然存在差异——有些数据仅标记是否发生接触，有些仅来自少数几个指尖传感器，有些提供逐顶点的邻近度或压力信息，还有大量样本完全缺失某一类触觉通道。为此，Being-H0.8设计了通用触觉编码器（Universal Tactile Encoder），在统一的手部拓扑结构上建立了一套由粗到细的触觉金字塔。从整只手是否发生接触，到具体的手部区域、指尖，再到逐顶点的压力或邻近度信息，不同来源的数据都可以被映射到对应的空间粒度。每个触觉token除了记录接触、邻近度或压力信息外，还会携带三维位置、拓扑位置、左右手信息和有效性标记——其中有效性标记尤为重要，因为“没有压力传感器”和“压力读数为零”完全是两个不同的概念。最后，模型通过Perceiver结构，将长度不同、密度不同的触觉输入压缩为固定数量的触觉token。
在统一了触觉表示之后，还需要跨越人手与机器人之间的动作鸿沟。人手、灵巧手和平行夹爪在几何结构、自由度和控制空间上都存在明显差异，同一个“捏住”“抓取”或“松开”动作，在不同的机器人本体上可能对应完全不同的表示方式。为此，Being-H0.8设计了TopoHand系统，将手部表示拆分为手腕位姿、形态编码、20个规范关节角和夹爪张开量，让语义相近的动作被映射到相同的表示槽位。这套系统并没有将所有手部结构改造为统一形态，而是为人手、灵巧手和夹爪建立了一套可以相互对齐的动作语言。
至此，从普通视频中恢复的隐式触觉、真实传感器采集的压力信号，以及不同本体的动作数据，都被统一到了同一套表示体系中。这套完整的数据处理流程解决了触觉数据“从哪里来、如何统一”的核心问题：TactoHand负责从大规模视频中补全接触监督信号，真实传感器提供更准确的物理压力信息，通用触觉编码器将不同格式的触觉信号转换为统一的触觉token，TopoHand则进一步对齐人手与机器人的动作空间。完成这些准备工作后，触觉才真正完整融入了Being-H0.8的“预测-执行-反馈”链路：训练阶段帮助模型学习接触带来的世界状态变化，部署阶段则作为实时反馈持续修正机器人的后续动作。
最后，我们来简单介绍一下Being-H系列背后的研发团队——智在无界（BeingBeyond）。该公司成立于2025年5月，创始人卢宗青是北京大学计算机学院长聘副教授、智源学者，长期从事强化学习和多模态模型研究。在学术界，他最早探索了利用大规模人类视频训练具身模型的方向，这也成为了智在无界后续技术路线的起点。
回顾Being-H系列的发展历程，其技术路线大致经历了三个阶段：第一阶段解决的是“人类视频如何使用”的问题，从Being-H0到Being-H0.5，团队验证了利用人类视频预训练具身模型的可行性，让机器人能够从人类操作中学习可迁移的动作经验；第二阶段关注的是“如何规模化使用人类视频”，从Being-H0.5到Being-H0.7，团队不断扩大数据规模，并解决了跨本体学习和隐式世界建模的问题，让海量异构的人类视频能够真正参与具身模型的训练；到了Being-H0.8，技术路线进入第三阶段：“如何高质量地使用人类视频”。这一阶段的重点不再是单纯增加数据量，而是通过数据清洗、动作恢复、触觉标注和表征统一，从海量原始视频中提取更准确、更具物理意义的训练信号，以高质量的数据推动模型能力的进化。
因此，Being-H0.8的推出，不仅补上了具备触觉能力的世界模型这一关键环节，更标志着Being-H系列的数据路线完成了一次重要转向：从最初验证人类视频能否用于具身模型训练，到解决海量视频如何规模化应用的问题，再到如今追问如何从海量视频中提取最有价值的物理交互经验。对于智在无界来说，其核心技术壁垒也不再仅仅是拥有多少视频数据，而是能否构建一条从数据收集、清洗、动作恢复、触觉标注、世界建模到机器人控制的完整链路，持续将原始视频转换为机器人可以学习和复用的物理交互经验。
