MultiFly低空无人机多模态数据集:仅少量标注实现四模态语义标注

VLNer 2026-11-16 11:11 湖南

提出MultiFly真实低空无人机多模态数据集,仅少量RGB人工标注,依靠几何驱动完成四模态一致性语义标注,并建立完整语义分割评测基准。
✨导读:自动驾驶领域多模态数据集百花齐放,但无人机多模态感知却缺少高质量基准。本文推出MultiFly低空无人机数据集🔥,仅使用0.67%的手工RGB标注,借助3D几何驱动流水线,一次性完成RGB、热成像、激光雷达、雷达4种模态大规模语义标注,同时提供完整分割基线。
- 作者:Markus Gross, Andreas Greiner, Taehyoung Kim, Sivasubiramaniam Subbiah, Tomaž Cotič, Conrad Christoph, Oussema Dhaouadi, Simon Zieher, Surya V. Kumar, Gordon Elger, Henri Meeß, Olaf Wysocki, Paul Spannaus, Daniel Cremers(共同一作,通讯作者)
- 单位:弗劳恩霍夫IVI研究所,慕尼黑工业大学计算机视觉组,慕尼黑机器学习中心,剑桥大学数字孪生计算机视觉方向,英戈尔施塔特应用科学大学创新移动研究所(* 共同一作,† 通讯作者)
- 论文标题:MultiFly: A Real‑World Multimodal Aerial Dataset with Annotation‑Efficient Label Transfer and Cross‑Modal Semantic Consistency
- 论文链接:https://arxiv.org/abs/2610.10359v2
- 代码链接:https://github.com/markus-42/multifly
🔍研究背景
语义场景理解是无人机自主感知的核心能力,然而目前高质量多模态资源大多面向自动驾驶,无人机领域存在明显短板:
- 📊现有公开无人机数据集大多只支持单模态或者双传感器组合,还没有公开真实低空数据集,能够同时提供RGB、热成像、LiDAR、雷达同步帧级语义标注。
- 🧾四种传感器成像原理、采样几何差异巨大。如果针对每个模态单独人工标注,成本极高,还极易出现不同模态标签互相冲突的问题。
- 🚗自动驾驶已经拥有成熟完整的多模态数据集生态,但是无人机缺少统一基准,很大程度上限制了多模态感知、传感器融合算法的迭代与评估。
💡主要贡献
✅ 1、开源MultiFly多模态无人机数据集。一共17272组同步四模态样本,覆盖德国4个郊区场景、30m/50m两种飞行高度,包含15个语义类别;附带全套传感器标定参数、GNSS‑RTK/IMU位姿信息,总采集覆盖面积56700㎡。
✅ 2、几何驱动的高效标签迁移流水线。仅仅依靠115张手工标注RGB图像(占全部RGB帧0.67%),基于共享3D几何把标签自动传播至其余全部模态。
- 迁移标签和人工真值平均吻合度:89.93%
- 全部6组模态配对的跨模态语义一致性均值:90.94%
整个流程不需要额外人工修正标签,极大降低多模态标注成本。
✅ 3、搭建完整多模态语义分割Benchmark。针对RGB、热成像、LiDAR、雷达四大模态,完成语义分割基线实验;对比分析稠密LiDAR、稀疏雷达数据下,不同网络架构的适配表现。
🛰️MultiFly 硬件采集平台
整套多传感器套件搭载在EmQopter Q6500无人机上,做了完整的硬件集成、时间同步与传感器标定。
📦硬件配置
- 视觉:RGB相机 + 热红外相机
- 三维感知:Ouster OS1‑128旋转LiDAR,2台大陆ARS548雷达
- 导航定位:OxTS xRED GNSS‑RTK/INS组合导航
- 机载计算:Aetina AIB MX22边缘计算单元
小细节💡:整套传感器模态整体向下俯仰45°;其中一个雷达再额外向下倾斜14°,用来扩大垂直方向视场。系统选择LiDAR坐标系作为所有传感器的公共参考坐标系。
⏱️时间同步方案
整套设备采用PTP精确时间协议,INS设备充当PTP主时钟,对齐全部传感器时序:
- LiDAR以10Hz扫描周期输出硬件触发信号,对齐RGB相机曝光时刻;
- 雷达通过驱动补偿相位偏差,雷达‑LiDAR时间偏差控制在±3ms;
- 热成像相机不支持硬件触发,依靠PTP时间戳下发采集指令,完成时间对齐。
🎛️传感器标定&跨模态配准
-
外参标定
- RGB‑LiDAR:选取场景天然特征点,通过PnP算法求解刚体变换;
- Radar‑LiDAR:摆放角反射器,利用SVD分解求解雷达与激光雷达之间外参;
- RGB‑热成像:棋盘格完成双目标定。
- 内参标定:RGB、热成像相机采用张正友棋盘格标定;LiDAR、雷达直接复用出厂内参。
-
跨模态图像配准:借助带可见性检测的Z‑buffer渲染,将语义点云渲染投影到剩余全部RGB图像与热成像图像,输出完整2D伪标签集合:
不需要对热成像做单独三维重建,即可实现像素级对齐
🏷️高效标签迁移:一套RGB标注喂饱四个模态
核心思路✨:只对少量RGB图像做人工标注,依托统一3D几何表示,把语义标签传递到热成像、LiDAR、雷达,自动生成全模态伪标签。
1、RGB & 热成像标签迁移(2D‑3D‑2D流水线)
-
2D→3D提升:对采集场景做RGB三维重建,输出点云
,同时保留每个原始点属于哪一帧扫描的关联关系:
将LiDAR点渲染投影到手工标注RGB图像做多视角类别投票;某一类别的投票占比超过阈值

