文章摘要
弗劳恩霍夫IVI研究所、慕尼黑工业大学等机构团队推出MultiFly真实低空无人机多模态数据集,仅需0.67%的RGB手工标注,依托3D几何驱动流水线即可完成RGB、热成像、激光雷达、雷达四模态一致性语义标注。该数据集含17272组同步样本,配套完整语义分割评测基准,相关论文、代码已开源。

VLNer 2026-11-16 11:11 湖南

MultiFly dataset image

提出MultiFly真实低空无人机多模态数据集,仅少量RGB人工标注,依靠几何驱动完成四模态一致性语义标注,并建立完整语义分割评测基准。

✨导读:自动驾驶领域多模态数据集百花齐放,但无人机多模态感知却缺少高质量基准。本文推出MultiFly低空无人机数据集🔥,仅使用0.67%的手工RGB标注,借助3D几何驱动流水线,一次性完成RGB、热成像、激光雷达、雷达4种模态大规模语义标注,同时提供完整分割基线。

  • 作者:Markus Gross, Andreas Greiner, Taehyoung Kim, Sivasubiramaniam Subbiah, Tomaž Cotič, Conrad Christoph, Oussema Dhaouadi, Simon Zieher, Surya V. Kumar, Gordon Elger, Henri Meeß, Olaf Wysocki, Paul Spannaus, Daniel Cremers(共同一作,通讯作者)
  • 单位:弗劳恩霍夫IVI研究所,慕尼黑工业大学计算机视觉组,慕尼黑机器学习中心,剑桥大学数字孪生计算机视觉方向,英戈尔施塔特应用科学大学创新移动研究所(* 共同一作,† 通讯作者)
  • 论文标题:MultiFly: A Real‑World Multimodal Aerial Dataset with Annotation‑Efficient Label Transfer and Cross‑Modal Semantic Consistency
  • 论文链接:https://arxiv.org/abs/2610.10359v2
  • 代码链接:https://github.com/markus-42/multifly

🔍研究背景

MultiFly dataset scene

语义场景理解是无人机自主感知的核心能力,然而目前高质量多模态资源大多面向自动驾驶,无人机领域存在明显短板:

  1. 📊现有公开无人机数据集大多只支持单模态或者双传感器组合,还没有公开真实低空数据集,能够同时提供RGB、热成像、LiDAR、雷达同步帧级语义标注。
  2. 🧾四种传感器成像原理、采样几何差异巨大。如果针对每个模态单独人工标注,成本极高,还极易出现不同模态标签互相冲突的问题。
  3. 🚗自动驾驶已经拥有成熟完整的多模态数据集生态,但是无人机缺少统一基准,很大程度上限制了多模态感知、传感器融合算法的迭代与评估。

💡主要贡献

✅ 1、开源MultiFly多模态无人机数据集。一共17272组同步四模态样本,覆盖德国4个郊区场景、30m/50m两种飞行高度,包含15个语义类别;附带全套传感器标定参数、GNSS‑RTK/IMU位姿信息,总采集覆盖面积56700㎡。

✅ 2、几何驱动的高效标签迁移流水线。仅仅依靠115张手工标注RGB图像(占全部RGB帧0.67%),基于共享3D几何把标签自动传播至其余全部模态。

  • 迁移标签和人工真值平均吻合度:89.93%
  • 全部6组模态配对的跨模态语义一致性均值:90.94%

整个流程不需要额外人工修正标签,极大降低多模态标注成本。

✅ 3、搭建完整多模态语义分割Benchmark。针对RGB、热成像、LiDAR、雷达四大模态,完成语义分割基线实验;对比分析稠密LiDAR、稀疏雷达数据下,不同网络架构的适配表现。

🛰️MultiFly 硬件采集平台

整套多传感器套件搭载在EmQopter Q6500无人机上,做了完整的硬件集成、时间同步与传感器标定。

📦硬件配置

Hardware setup 1
Hardware setup 2
  • 视觉:RGB相机 + 热红外相机
  • 三维感知:Ouster OS1‑128旋转LiDAR,2台大陆ARS548雷达
  • 导航定位:OxTS xRED GNSS‑RTK/INS组合导航
  • 机载计算:Aetina AIB MX22边缘计算单元

小细节💡:整套传感器模态整体向下俯仰45°;其中一个雷达再额外向下倾斜14°,用来扩大垂直方向视场。系统选择LiDAR坐标系作为所有传感器的公共参考坐标系。

⏱️时间同步方案

整套设备采用PTP精确时间协议,INS设备充当PTP主时钟,对齐全部传感器时序:

  1. LiDAR以10Hz扫描周期输出硬件触发信号,对齐RGB相机曝光时刻;
  2. 雷达通过驱动补偿相位偏差,雷达‑LiDAR时间偏差控制在±3ms;
  3. 热成像相机不支持硬件触发,依靠PTP时间戳下发采集指令,完成时间对齐。

🎛️传感器标定&跨模态配准

  1. 外参标定
    • RGB‑LiDAR:选取场景天然特征点,通过PnP算法求解刚体变换;
    • Radar‑LiDAR:摆放角反射器,利用SVD分解求解雷达与激光雷达之间外参;
    • RGB‑热成像:棋盘格完成双目标定。
  2. 内参标定:RGB、热成像相机采用张正友棋盘格标定;LiDAR、雷达直接复用出厂内参。
  3. 跨模态图像配准:借助带可见性检测的Z‑buffer渲染,将语义点云渲染投影到剩余全部RGB图像与热成像图像,输出完整2D伪标签集合:

    不需要对热成像做单独三维重建,即可实现像素级对齐

🏷️高效标签迁移:一套RGB标注喂饱四个模态

核心思路✨:只对少量RGB图像做人工标注,依托统一3D几何表示,把语义标签传递到热成像、LiDAR、雷达,自动生成全模态伪标签。

1、RGB & 热成像标签迁移(2D‑3D‑2D流水线)

  1. 2D→3D提升:对采集场景做RGB三维重建,输出点云 ,同时保留每个原始点属于哪一帧扫描的关联关系:

  • 将LiDAR点渲染投影到手工标注RGB图像做多视角类别投票;某一类别的投票占比超过阈值 <path data-c="7B" d="M477 -343L471 -349H458Q432 -349 367 -325T273 -263Q258 -245 250 -212L249 -51Q249 -27 249 12Q248 118 244 128Q243 129 243 130Q220 189 121 228Q109 232 107 235T105 250Q105 256 105 257T105 261T107 265T111 268T118 272T128 276T142 283T162 291Q224 324 243 371Q243 372 244 373Q248 384 249 469Q249 475 2

    以上内容不代表本平台立场,仅供读者参考