SpatialScout:AI空间理解评测新基准 助力物理AI

想象一项任务:将相机交给人工智能,让它进入一间从未见过的虚拟房间。没有预先给定的物体坐标,也没有规划好的参观路线,它需要自主决定转向方向、移动位置、拍摄时机,最终确定各个目标物体在三维空间中的位置。
这类探索过程被研究工具 SpatialScout 转化为可记录、可评分、可比较的标准化研究任务。每一次观察是否有效、不同视角能否相互印证、提交的坐标是否可靠,都会在最终生成的物体级地图中留下痕迹。
走向物理AI的空间基础
人类走进陌生房间时,会通过四处查看、绕场行走形成连贯的空间认知:桌子靠近哪面墙,椅子在桌子的哪一侧,转身之后之前的物体在什么方向。这种三维空间表征是我们完成接近、绕行、取物等动作的基础。
物理领域的人工智能同样需要这层基础。智能体要在真实环境中持续行动,必须把零散的视觉线索组织成稳定的空间关系。如果连基本的位置和布局都无法通过观察确定,后续的行动规划、物体操作与环境交互就会缺少可靠的参照。SpatialScout 关注的主动空间理解能力,正是迈向物理AI的重要基石。
为空间能力搭建共同评测平台
正式评测选取了80个室内场景、3140个目标实例,覆盖厨房、客厅、卧室、浴室、公寓及多房间住宅等多种类型的室内空间。统一的场景与初始相机设置,让不同模型面对完全一致的任务条件。
这些环境包含椅子、桌子、橱柜、书本、灯具和各类日常用品,物体的尺度、摆放位置和可见程度各不相同。模型需要不断调整视角,在局部细节与房间整体布局之间建立关联。
每个任务开始时,模型会拿到目标实体清单与初始图像,实体库告知它需要寻找哪些对象,但不透露坐标信息。模型可以主动拍摄图像、移动相机、读取相机参数与位姿,并将多视角中的对应观测结果交给三角测量工具;确认位置后可分批提交结果并继续修正,每个任务最多允许100轮模型交互。
评测评分同时关注两个维度:覆盖范围与定位精度。全部目标与已提交目标各有四项指标,包括平均交并比,以及交并比超过0%、50%、90%的比例,未提交的目标在指标中记为零。交并比计算基于平移至预测中心的原有渲染几何包围盒,重点衡量中心定位与目标覆盖情况。
当前模型表现与待解决问题
在7个模型、8种配置的对比测试中,Opus 5.5的任务平均交并比为41.71%,Astra(xhigh)为33.16%,Sonnet 5.5为32.28%。最高得分仍有明显提升空间,观察决策与空间推断中的薄弱环节值得深入研究。
很多时候,看过一个物体并不意味着确定了它的空间位置。如果各次观察之间缺少稳定的对应关系,图像数量的增加可能只带来更多局部印象。模型需要辨认同一物体在不同视角中的位置,选择能提供有效视差的拍摄点,才能建立可靠的几何约束。
工具调用分布显示出值得关注的现象:部分模型在探索中反复观察、频繁移动相机,后续的建图操作却没有充分跟上。它们可能收集了不少图像,却未能有效组织跨视角信息,用几何计算把「看见了」落实为「定位到了」。
三角测量尤其考验精细化空间感知,输入需要来自不同拍摄位置的对应图像点,物体中心标记偏移、遮挡和视差不足都会影响估计结果。在这一环节,观察是否精准、计算是否及时、结果是否经过核对,比单纯增加拍摄次数更重要。
在共同的80个任务上,Astra最终提交的物体中99.33%此前获得过成功三角测量支持,而DeepSeek的这一比例为63.48%。这一差异为「观察如何转化为定位证据」提供了分析切入点。
SpatialScout的价值在于让整个过程可追踪:缺失的物体可能指向覆盖不足,偏移的布局可能指向坐标推断不稳,大量观察后的低分则提示需要检查视觉对应与几何工具使用。研究者可以沿着这些线索设计更有针对性的探索策略。
质量与代价的平衡
持续拍摄、长上下文推理和多轮工具交互都会消耗资源。SpatialScout将重建交并比与每任务平均费用放在同一张图中,用帕累托前沿帮助观察不同预算下的质量选择。
按当前价格记录估算,Astra(medium)平均约2.47美元/任务,Astra(xhigh)约3.06美元/任务,Opus5.5约为27.90美元/任务,DeepSeekV4.1 Flash的均值约为0.027美元/任务,其对应的定位得分也较低。这组结果让探索策略的质量收益与资源投入能够被同时讨论。
让下一次观察更有价值
从选择新视角,到确认一组空间坐标,再到形成可用的物体级地图,主动空间理解需要一整条能力链。SpatialScout提供固定任务、交互工具与评分流程,方便研究者接入自己的模型,把新的视角规划、多视角推理和几何工具策略放到同一个环境里比较。
这个基准能帮助更多研究把注意力放到真实行动所需的空间基础上:让智能体知道自己在哪里、对象在哪里,并据此决定接下来该怎样观察与行动。

