文章摘要
世界动作模型从视频生成先验中继承世界知识,但要准确理解动态场景中物体的运动规律,几秒的视觉历史往往是核心依据。对于机器人系统而言,是否需要类似“小脑”的记忆模块?相关研究结论是肯定的,且记忆的时长越长

世界动作模型从视频生成先验中继承世界知识,但要准确理解动态场景中物体的运动规律,几秒的视觉历史往往是核心依据。

对于机器人系统而言,是否需要类似“小脑”的记忆模块?相关研究结论是肯定的,且记忆的时长越长,效果越显著。

相关团队开源了Long-WAM,这是一次覆盖数据、模型到基础设施的全链路闭环探索,相关论文、代码、模型权重均已对外发布,同时附带了适配RTX 5090、DGX Spark、AGX Thor等硬件的推理内核。

研究过程中有几项发现超出预期。

记忆并非生物大脑的专属能力:在高动态任务中,短短几秒的上下文就蕴含着物体运动的关键信息;当拉长世界动作模型的上下文长度后,多项基准测试都呈现出清晰的性能缩放曲线。

不过,这种性能缩放特性仅存在于自回归架构中:研究人员用约1万小时的机器人操作视频和第一视角视频训练出LongLive2.0-Robot,其上下文越长性能越强;但如果用双向视频专家模型作为初始化,则无法观察到这种缩放效果。

另一项意外收获是动作流畅度的提升:在RoboTwin 2.0平台上,模型纯异步执行的成功率达到94.2%,同步执行则为94.4%,几乎没有性能波动;真机异步部署时的抖动幅度远低于其他同类模型范式,且未经过任何额外训练,这一特性可看作因果上下文带来的附加优势。

性能落地也是关键:研究人员通过NVFP4量化、KV复用、CUDA Graph、流式VAE以及设备级内核调优的整套方案,即使是IDM这类计算成本较高的预测范式,在RTX 5090上生成一个动作块的端到端时间仅为107.4毫秒,足以满足高动态物体的实时抓取需求。

当已有类似Astra的规划模型时,是否还需要专门的小脑模块?答案是肯定的:Astra模型在动态物体这类强实时场景中的响应延迟仍有优化空间,而将GPT-6 Astra负责规划、Long-WAM负责执行的组合方案,使RoboCasa365复杂组合任务的成功率从31.4%提升至54.4%,尤其是针对未见过的组合任务,提升幅度更为明显。

大脑模型的能力再强,也需要一个响应足够快的小脑模块来支撑实时执行。

在近期的相关技术分享活动中,相关团队的研究人员介绍了Long-WAM的核心探索,包括长上下文缩放仅在自回归视频预训练中出现的原因、因果上下文带来的异步控制平滑特性、如何让“先想象再行动”的逻辑适配边缘端的实时推理基础设施,以及Long-WAM作为快速带记忆的小脑,与Astra这类规划模型协同时的不可替代性。

以上内容不代表本平台立场,仅供读者参考