文章摘要
这可能是中国智能汽车领域最出人意料的跨界尝试之一:一家深耕车载传感器的企业,正进入好莱坞娱乐技术的核心地带。作为《玩具总动员》等经典动画背后的好莱坞特效公司,皮克斯的小台灯标志闻名全球。过去30届奥斯

这可能是中国智能汽车领域最出人意料的跨界尝试之一:一家深耕车载传感器的企业,正进入好莱坞娱乐技术的核心地带。

作为《玩具总动员》等经典动画背后的好莱坞特效公司,皮克斯的小台灯标志闻名全球。过去30届奥斯卡最佳视效奖中,有24部获奖影片采用了皮克斯的特效技术。而皮克斯的诞生也和一位科技巨头紧密相关——史蒂夫·乔布斯在1985年被苹果公司解雇后,创办了这家公司。

不久前,皮克斯官方推出了最新的3D渲染教程,指导创作者如何处理真实世界的3D高斯泼溅数据。在教程的致谢部分,皮克斯特别感谢了一家中国公司提供的3D场景扫描方案Kosmo,而这家公司,正是智能汽车赛道的核心玩家——禾赛科技,车载激光雷达领域的领军者,也是推动智能汽车安全技术普及的重要力量。

一边是传统硬核的汽车工业,一边是创意十足的好莱坞娱乐业,禾赛的业务布局之跨界,着实令人意外。

皮克斯的核心渲染技术是RenderMan,其技术历史甚至早于皮克斯这家公司。当年史蒂夫·乔布斯就看到了计算机图形学作为艺术形式的潜力,投入重注布局。如今,RenderMan已支持GPU加速的XPU架构,以及全新的3D高斯泼溅(3DGS)三维数据格式,而让RenderMan能“捕捉”真实世界场景的,正是禾赛的Kosmo。

皮克斯表示,影视特效需要在像素层面进行编辑,数据和信息越丰富,能完成的调整就越细腻。而Kosmo能让建模师走进任何空间,捕捉每一个空间元素、精准几何结构和真实光照。

比如,要还原皮克斯总部乔布斯大楼前的台灯和小球,用Kosmo完成空间捕捉仅需10到20分钟,得到的高质量3DGS数据通过USD格式直接接入工作环境。之后,工程师可以在生成的模型空间里进行移动、缩放、调整透明度、添加风格化绘画效果等操作,让整个广场变成一幅笔触流动的画作。

按照禾赛提供的数据,100平米左右的空间,用手持Kosmo采集大约需要15到20分钟。对影视娱乐行业来说,Kosmo的核心价值之一,是快速提取真实场景信息且100%还原细节。值得一提的是,国产现象级3A游戏《黑神话·悟空》的开发团队,当年就曾使用禾赛的激光雷达扫描古建筑模型,这也是Kosmo诞生的驱动因素之一。

快速建模只是Kosmo的优势之一,更受认可的是它直接输出3D高斯泼溅格式的能力——采集完成的数据无需复杂后处理,可直接用于各类AI或人工工具的编辑调试。本质上,Kosmo是一个真实三维世界数据引擎,多种传感器高度集成且标定完善,到手即可使用,直接输出可供模型训练、可操控编辑、空间关系和色彩形状均不失真的三维数字模型。

因此,进入好莱坞影视行业,只是禾赛攀登物理AI领域过程中的一个阶段性成果,更重要的落地场景,是作为具身智能、物理AI底层模型的核心数据入口。

Kosmo能将真实空间的材质、物体棱角、色彩等还原到电影级精度,甚至墙上的挂画也能无损复现,色块文字和位置关系毫无偏差。除了手持设备,Kosmo背后的云端模型还支持3D语义分割,可将场景中的各个元素拆分出来。

这么做的原因在于,Kosmo生成的数据资产可直接用于构建机器人的训练任务——这正是世界模型的目标,不同之处在于,Kosmo的数据来自真实世界,物理定律和因果关系更精准,也更容易对模型行为进行解释归因。除了目标物体和材质颜色,Kosmo还能提供更关键的空间关系信息,而这正是机器人从感知到认知、主动规划路线和策略的核心决策要素。

此前,整个具身智能和物理AI赛道都不存在这样“即开即用”的数据采集终端。相关团队只能各自采购不同传感器元件,自行搭建数据采集设备,这导致方案非标、可靠性低、成本高且难以迭代。而禾赛作为激光雷达领域的领军者,其优势正是精密光电设备制造、车规级标准落实和工程量产能力,这些正好能解决行业的“重复造轮子”难题,打造出行业首个“即开即扫、即扫即用”的专用数据终端。

Kosmo分为两个部分:用户手持的Kosmo One是采集端,云端的Kosmo World是重建端。Kosmo One内置四类传感器:定制激光雷达、8K超高清影像系统、一英寸大底CMOS、高精度IMU。这四类传感器输出的信号类型不同:点云是稀疏的三维坐标,图像是二维像素阵列,IMU是高频时序数据等。

所谓“前融合”,就是在这些信号进入重建算法前,先在硬件层面完成对齐,分为两个维度:时间上,四类传感器实现微秒级同步采集,共享同一时钟源和触发机制,每一帧数据的时间戳严格绑定;空间上,激光雷达与摄像头的外参标定,确保点云中的每个三维点能准确投影到对应图像的像素上。Kosmo One将所有组件集成在同一设备中,外参在出厂时完成标定,使用过程中由IMU辅助维持,激光雷达测出的深度可直接与图像像素逐点对应,无需在软件端通过特征匹配猜测传感器相对位置。

前融合的输出是一组时空对齐的多模态数据帧,每一帧都将激光雷达点云、图像RGB像素、IMU位姿轨迹绑定在同一时间戳下,完整描述设备对空间的一次观测。这一设备级前融合技术,和禾赛在SPAD-SoC芯片上实现的像素级前融合同源——在SPAD像素上方集成RGB滤光片,单像素同时完成光子计数和ToF计时,直接输出时空对齐的彩色点云,而Kosmo One只是将这种思路从芯片扩展到了多传感器系统。

多模态数据帧上传到云端后,进入Kosmo Spatial Core(KSC),转化为3D高斯泼溅表示。3DGS是2023年SIGGRAPH大会提出的三维场景表示方法,用一堆三维高斯分布搭建场景,每个高斯包含位置、形状、透明度和随视角变化的颜色。训练时,从相机标定生成的稀疏点云出发,通过渲染图像与真实图像的差异调整高斯参数,最终得到能实时渲染出照片级画面的三维场景。

不过原始3DGS存在短板:它仅依赖图像,单目图像无法确定场景真实尺度,白墙、玻璃这类低纹理区域容易计算失真,高斯的空间分布也缺乏物理约束。过去两年,学术界一直在解决这个问题,方向是将激光雷达的绝对深度融入3DGS的初始化和优化中。对应到Kosmo,整个流程为:Kosmo One完成微秒级同步采集,ISP做多视角色彩一致性处理,数据上传至KSC;KSC用激光雷达点云初始化高斯位置,用深度作为几何约束参与优化,通过可微光栅化的光度损失将RGB信息注入高斯颜色参数;三路信号在同一优化框架中协同,最终输出位置、形状、颜色同时收敛的3DGS表示。

同时,KSC还会同步导出mesh和depth两种同源数据,空间坐标系统一,无需跨格式配准。最终一次重建可同步输出3DGS、mesh、depth三种可直接用于机器人训练的数据形态。此外,KSC还搭载AIGC补全能力,可对未扫描到的盲区自动补全和材质识别,通过AI语义分割将场景内物体独立识别和标注,使静态三维模型可直接转化为AI可训练的结构化数据。

Kosmo的应用范围远不止智能汽车和具身智能领域,还覆盖影视、游戏、测绘、机器人,甚至房地产行业(如VR看房)。

从业务角色来看,禾赛已从单纯服务车企的激光雷达供应商,转变为物理AI基础设施提供商。比如,Kosmo的主要营收可能并非来自硬件销售,而是来自生产数据资产所需的token消耗。此外,禾赛的创始团队还布局了机器人全栈公司Sharpa,从真实落地场景中发现问题并反馈需求,推动Kosmo持续迭代,形成行业小闭环,助力整个具身智能赛道的发展。

当前,自动驾驶到具身智能领域,数据仿真与实采的争论一直存在,而世界模型概念的流行,让“只靠世界模型就能替代真实数据采集”的观点出现。但GPT-6 Astra与Kosmo复原场景数据的对比表明,当前阶段的世界模型无法回答一个核心问题:AI越强,能推理解决的问题越多,物理AI终端解锁的场景也越多,对模型泛化能力的要求就越高,这反而需要更多真实世界的新鲜数据作为基础。

因此,Kosmo这类空间数据采集产品不会被淘汰,反而会随着AI的发展更受重视——它不是“逆AI浪潮”,而是“顺AI而行”,AI越强,它的价值就越大。Kosmo本身就是世界模型的起点,而世界模型的本质争论(AI是“猜测世界”还是“真正理解世界”)仍在持续,但禾赛通过Kosmo提出了更底层的问题:如果模型训练数据能对齐真实物理世界,很多问题和争论是否可以迎刃而解?至少,明确模型的能力来源和归因链条,讨论世界模型的本质才不会成为“镜花水月”。

禾赛这家从智能汽车赛道成长起来的激光雷达供应商,确实值得被重新评估。它在智能汽车领域积累的精密设备制造、芯片设计、工程量产等能力,成为物理AI时代的核心基础——除了Kosmo,还有自研的机器人驱动模组,体积小、动力强且可靠。

未来,物理AI领域对真实世界新鲜数据的需求会持续增长,禾赛已站在物理AI数据入口的位置,接下来需要证明,从传感器到数据资产的这条路径,能构建出多宽、多深的商业版图。可以肯定,顶尖智能汽车玩家的终局,绝不会局限于智能汽车本身。

以上内容不代表本平台立场,仅供读者参考