UAV-Flow++:语言引导无人机短距精细飞行成功率93.16%

UAV-Flow++: A Unified Suite for Benchmarking and Learning Language-Guided UAV Flight
随着大模型与具身智能技术的发展,用自然语言指挥无人机飞行成为热门研究方向。现有方案多聚焦远距离大场景路径规划,将近距离精细机动交给底层控制器处理,忽略了短距离、物体交互的精细飞行动作。同时,现有无人机导航基准多局限于仿真环境,缺乏真实专家数据,也缺少成熟的闭环仿真评测手段,难以检验模型是否真正理解空间语言指令。
Flow任务定义
针对上述缺口,本文提出全新Flow任务:无人机接收简短自然语言指令、机载第一人称画面、自身飞行状态,输出连续飞行动作。该任务包含简单基础移动和绕圈、绕行等物体交互行为,专门考核两大核心能力:运动意图理解、视觉场景下的空间关系定位。
核心贡献
- 定义全新Flow任务,将语言引导无人机导航建模为基于第一人称观测的细粒度短距离轨迹执行,专门评估模型理解运动意图、完成物体空间交互的能力。
- 搭建UAV-Flow完整基准套件,包含真实专家飞行数据集UAV-Flow-Real +交互式仿真套件UAV-Flow-Sim,同时提供自动化闭环仿真评估协议,合计约20000条轨迹。
- 提出两阶段FlowVLA策略框架,在真实+仿真混合演示数据上完成模仿预训练;创新Tail-Aware GRPO(TGRPO)强化学习算法,基于分组奖励分布构造尾感知优势,高效学习高奖励的优质轨迹。
- 完成充分仿真+真机验证,在273个仿真测试片段上,仅模仿预训练的FlowVLA成功率75.58%;经过TGRPO强化学习后飙升至93.16%,同时完成室内、外飞行,验证各类物体相关指令的执行效果。
基准套件详解
整套基准由Flow任务定义、真实数据集、仿真环境、全套评测指标四大部分组成。
真实数据集UAV-Flow-Real
采集场景覆盖3座大学校园,包含行人、植被、建筑、车辆等丰富元素;使用专业无人机采集,拥有丰富的专家飞行数据,标注流程包含过滤危险、语义模糊片段,生成多样化开放语言指令。
仿真套件UAV-Flow-Sim
基于渲染引擎搭建,支持无人机位置-偏航模式控制,包含地标、行人、车辆等可交互对象,具备闭环运行逻辑,形成标准化的测试环境。
自动化评测指标
包含任务完成分数、NDTW归一化动态时间规整等指标,采用截断区间打分函数和动态时间规整算法,衡量模型轨迹与专家参考轨迹的相似程度。
研究方法:FlowVLA两阶段训练+真机部署
整体分为两大训练阶段:混合数据模仿预训练 → TGRPO仿真环境强化学习后训练,同时给出地面-无人机协同的真机落地方案。
FlowVLA模型架构
视觉语言主干采用轻量化微调,搭配轻量化离散动作头,输入初始场景图像、当前时刻第一人称图像、无人机状态,输出连续飞行动作,采用局部坐标系下4维位置-偏航指令。
实验结果
仿真测试显示,经过强化学习后模型成功率大幅提升;真机完成室内、外飞行,验证各类物体相关指令的执行效果。
总结
本文提出的Flow任务和UAV-Flow基准,为语言引导无人机飞行提供了标准化的评估体系和高效的训练策略,推动该领域的发展。

