端侧无人机视觉语言动作模型零样本导航成功率达48%
端侧无人机导航新模型OpenFlyV2：仿真到真实的零样本突破
在无人机具身智能领域，端侧部署一直是核心挑战——现有系统往往功能碎片化，难以统一多模态感知与动作控制，且受限于机载算力无法兼顾复杂任务需求。最新推出的OpenFlyV2模型实现了关键突破，它是首个面向无人机的端侧一体化视觉-语言-动作模型，单模型可同时承载语义理解、空间推理与连续飞行控制能力，仅通过仿真数据训练就实现了零样本真实场景导航，在4个真实环境中达到48%的导航成功率。
核心架构：统一的端侧多模态设计
OpenFlyV2采用10亿参数的轻量化架构，由0.8B参数的视觉语言骨干与0.2B参数的动作专家组成，整体设计兼顾性能与端侧效率。输入包含航拍图像、语言指令、无人机状态以及压缩后的历史记忆令牌，输出分为双通路：视觉语言任务生成文本回答，导航任务输出包含12个航点的动作序列，由底层飞控执行。
为适配端侧算力，模型提出两项关键优化：运动自适应记忆（MAM）将历史图像压缩为事件级令牌，减少51%的输入令牌量，同时保留运动关联的视觉上下文，大幅降低时序处理开销；运动结构先验（MSP）则通过数据驱动的运动原型初始化航点生成，让单步流匹配即可达到接近多步去噪的效果，将动作生成延迟从80ms降至20ms，实现4倍加速。
训练与验证的关键设计
模型的训练分为三个阶段：首先用完整历史图像输入进行基础监督预训练，建立多模态理解与导航能力；接着启用MAM与MSP进行压缩架构的监督训练，适配压缩表示与结构化先验；最后固定视觉骨干与记忆模块，仅微调动作专家，通过强化学习提升导航鲁棒性。
实验验证方面，模型构建了包含13个环境的大规模仿真数据集，覆盖不同场景类型，包含7.2万条导航轨迹与6万条问答对，为多任务训练提供充足监督。在仿真对比中，模型在已见与未见场景中全面领先于4种主流基线方法，同时在预言成功率、路径加权成功率等指标上表现最优，且所有基线均无法在端侧硬件运行。
消融实验显示，MAM与MSP分别在性能与效率上发挥关键作用：加入MAM后单步去噪成功率从49.82%提升至53.45%，终点误差从49.18m降至37.54m；结合MSP后，单步去噪成功率进一步提升至57.09%，终点误差降至33.55m，效果超过双步去噪的基线模型。
真实世界的零样本部署
在DJI M30T无人机搭配Jetson Orin NX的硬件平台上，模型开展了全端侧部署测试，覆盖4个真实场景：2个训练中对应的3DGS场景，2个完全未见的真实地点。共进行100次试飞，包括50次单地标指令与50次双地标指令，全程无人工干预，总体导航成功率达到48%，无需任何真实世界训练数据或场景微调。动作块生成频率稳定在10Hz，异步执行机制保证了飞行连续性，实现完整闭环导航。
未来展望
OpenFlyV2的成功为端侧具身智能部署提供了可行思路，未来可进一步探索偏差检测与错误恢复、多轮对话交互、无人机集群协同等方向，推动空中视觉语言导航在巡检、应急勘测等实际场景的落地应用。
