Stereo-Planner：南洋理工用双目RGB实现无人机高速自主飞行

首先是硬件依赖高，维护成本居高不下。传统的“感知-建图-规划”串行流水线，要么搭载激光雷达、深度相机等专用深度传感器，要么通过算法显式重建深度。这类方案不仅拉高了硬件成本、增加了机体重量，深度传感器的机械结构还更容易在碰撞中损坏，后期维护成本也随之居高不下。

其次是仿真到真实的视觉鸿沟难以跨越。基于学习的端到端方法可以直接从视觉生成轨迹，绕过串行流程的延迟，但RGB图像对场景纹理、光照变化非常敏感，仿真环境与真实世界的视觉差异，很容易让训练好的模型“水土不服”。虽然3D高斯溅射、NeRF等技术可以提升仿真真实感，但数据采集成本高、场景拓展难度大，很难支撑大规模多样化训练。

再者是机载算力与实时性难以平衡。视觉基础模型虽然跨域表征能力强，但参数量大、计算开销高。小型四旋翼的机载计算资源在体积、功耗、重量上都有严格限制，如何在保证20Hz以上规划频率的前提下，把基础模型搬上无人机，是落地的关键瓶颈。

针对这些痛点，南洋理工大学团队推出了Stereo-Planner端到端视觉-轨迹规划框架，专门针对无人机自主飞行的问题设计。该框架基于双目RGB观测实现零样本仿真到真实的运动规划，无需显式深度重建或额外搭载深度传感器。

这项工作把运动规划转化为末端状态预测问题，通过多项式轨迹参数化，大幅降低网络的输出维度。轨迹采用单段时间参数化多项式表示，对应五阶最小加加速度轨迹，系数矩阵可以通过当前状态和末端状态闭式求解。

Stereo-Planner采用经典的编码器-解码器架构，由场景表征器和轨迹解码器两大核心模块组成。

场景表征器受视觉-语言-动作模型的启发，选用预训练的Depth Anything V3编码器作为基础，直接去掉了深度预测头，只保留编码器用来提取场景几何特征。模块输入为双目图像对、相机内外参，输出场景表征序列，采用带视图内、视图间注意力的Transformer，初始化自DA3预训练权重，可以建立双目图像间的稠密对应关系。和DINOv2这类通用ViT更关注纹理、语义信息不同，DA3预训练的编码器更聚焦于几何相关特征，实验显示，仿真与真实图像的特征余弦相似度大多高于0.8，从表征层面有效缩小了仿真到真实的域差距。

轨迹解码器负责把场景表征转化为可执行的飞行轨迹，核心设计包括可学习轨迹token、度量尺度线索与交错注意力机制。

引入N个可学习的轨迹token，每个token对应一种拓扑的轨迹基元，分别预测对应轨迹的末端状态与评分，保留轨迹的多模态多样性，避免模式崩塌。

双目基线作为显式度量尺度线索，视觉基础模型输出的特征通常是尺度归一化的，无法直接提供真实度量信息。论文把双目基线、当前速度、加速度、目标方向拼接在一起，经多层感知器编码为状态token。

采用自注意力+交叉注意力的交错结构，把轨迹间推理和轨迹-场景匹配分开，带来了更强的结构归纳偏置，计算复杂度也低于联合注意力。最终通过多层感知器输出每条轨迹的末端状态与评分，选择评分最低的轨迹执行。

这项工作的核心贡献主要有三点：第一，提出纯双目RGB的端到端推理框架，采用几何感知的编码器-解码器架构，直接从双目图像生成无碰撞可行轨迹，全程不需要显式深度重建，也不用额外搭载深度相机或激光雷达；第二，首次将视觉基础模型引入无人机运动规划，利用预训练的深度感知模型提取跨域一致的几何特征，仅在仿真环境中训练，就能直接部署到真实世界，不需要任何真实场景数据微调；第三，开发了全栈开源的完整飞行系统，包含算法流水线、仿真环境、硬件设计，在仅420克的小型无人机上实现了基础模型的实时部署，真机验证达到7米每秒的高速自主飞行能力。