RoTA-Bench评测：视觉模型三维旋转能力不及人类

人类识别物体时，即使视角变化也能完成辨认，还能想象物体转动后的样子，这背后依赖空间感知能力。这种能力需要在大脑中表征物体的形状与方向，理解不同视角的关联，并从二维投影推断三维几何结构。

当视觉语言模型应用于交互场景时，这种空间理解需要转化为实际动作。一次旋转会改变物体的轮廓、比例和遮挡关系，模型需要预判变化，再观察执行结果，进而调整下一步动作。那么，回答空间关系问题的能力，能否支撑连续的姿态控制？

目前的评测基准各有侧重：静态基准通过固定图像上的问答评估空间推理，缺少动作执行和闭环反馈；多数交互式基准关注任务规划、工具调用或路径搜索，虽能考察交互能力，却难以专门检验模型从视觉线索理解三维方向，并将其转化为精确旋转的能力。

因此，视觉语言模型能否将二维观察转化为支持精确动作的三维理解，成为值得探究的问题。这要求模型关联物体的几何与姿态，预判旋转对投影的影响，并利用动作后的新观察不断修正。这类判断连接着视觉感知与实际控制，是智能体探索环境、理解几何并采取行动的关键，也成为业界希望通过评测进一步观察的能力。为此，来自两所高校的研究团队提出了RoTA-Bench，通过交互式3D-to-2D投影对齐任务来评估这一能力。

RoTA-Bench的任务以T恤形状为典型示例，交互界面包含三部分信息：左上是目标轮廓，左下是当前投影，右侧是带有深度明暗的辅助视图，用于补充二值轮廓中缺失的深度和遮挡线索。任务要求模型从24种离散旋转动作中选择下一步，这些动作涵盖三个旋转轴、正反两个方向，搭配1°、5°、10°、30°四种步长。每次执行后，环境重新渲染画面，模型需利用更新后的观察和交互历史继续调整。当当前投影与目标轮廓的交并比（IoU）达到0.90时，任务成功，评测最多允许48次决策，设有主动停止和停滞终止规则。研究人员将交互限制为纯旋转，目的是将三维方向推理与平移、抓取等因素区分，聚焦于如何根据视觉证据控制姿态。

为避免模型借助常见三维物体的形状先验，研究人员从二维矢量图标出发，在球形体积约束内构造三维物体，确保其在标准正面投影下能还原原图并保留细节。这些物体通过一串可逆的离散旋转初始化，每一步都可逆转，保证任务可解。在此基础上，研究人员搜索并验证参考路径，按路径长度分层选取测试任务，最终形成包含674个任务的数据集，其中100个任务组成冻结测试集，其余用于后续研究。

研究人员评测了9个视觉语言模型、2种智能体配置，并邀请20位本科生参与人类实验。在100个测试任务上，最高的模型成功率为17%（来自GPT-5.6-Sol），而人类的400次任务运行全部成功。人类与模型使用相同的任务、视觉观察、旋转动作空间、决策预算和成功标准，人类通过按钮提交动作，模型通过结构化输出提交动作，最终都映射为相同的旋转操作。从旋转过程看，人类轨迹的平均IoU随动作推进整体提升，最终越过成功阈值；模型轨迹则较早进入平台期，多数停留在0.50—0.63附近。

进一步分析差距，可从方向和角度选择两方面拆解。方向上，模型选择有效方向（即沿该方向至少存在一种合法角度能减小三维姿态误差）的比例为58.75%，人类为83.91%；角度上，模型选中最优合法角度的比例为61.80%，人类为71.82%，平均角度差分别为6.49°和2.99°。此外，模型的角度选择更多关联于可见的投影重叠，而人类的角度选择与投影重叠、三维姿态误差都有较强关联。

旋转后，当前轮廓与目标重叠更多，看似是好信号，但三维物体的不同姿态可能产生相似投影，二维画面的局部改善，并不总对应三维姿态误差的减小。研究人员找到211对相同姿态的状态配对，发现模型有19.4%的动作让轮廓重叠改善却使姿态对齐变差，人类这一比例为10.9%；人类更常选择暂时降低投影重叠但减小三维姿态误差的动作，比例为33.2%，模型为23.7%。

交互过程中，模型可比较动作前后的画面，判断下一步调整。实验显示，移除交互历史后，模型完成任务的数量从5/30降为0/30，动作选择也发生明显变化：30°旋转占比从62.75%上升到96.76%，1°调整占比从12.18%降到0.16%，精细调整几乎消失。这说明模型的精细控制对交互历史敏感，历史信息对角度选择的影响大于方向选择。

回到T恤任务，完成任务需要从目标与当前画面提取线索、推断姿态、选择旋转、根据反馈修正。RoTA-Bench将这些过程整合为闭环评测，既考察最终对齐结果，也关注中间每一步的方向与角度选择。实验表明，观测、感知并调整3D物体位姿仍是模型面临的挑战，该任务可为后续模型改进提供可核验的评测环境。