VLM-TD3分层框架：自然语言本地室内导航 小模型性能超GPT-4o mini
研究团队提出了一套两阶段分层VLM-TD3框架，将视觉语言大模型（VLM）、持久化空间记忆与TD3深度强化学习控制器相结合，在ROS/Gazebo仿真环境中实现了自然语言驱动的室内物体导航，且支持边缘本地部署，无需持续联网。
核心架构设计：解耦的双阶段逻辑
整个系统将“感知建图记忆”与“运动执行”环节彻底拆分，分为两个独立阶段：
-
阶段1：语义探索与空间记忆构建
机器人搭载Pioneer3-DX差分驱动平台，配备2D激光雷达、RealSense RGB-D深度相机与轮式里程计。该阶段完成以下关键步骤：
- 通过Gmapping算法实现SLAM，构建2D占据栅格地图；
- 本地部署VLM完成开放词汇物体识别，输出物体像素坐标；
- 坐标估计模块采用5×5窗口中值滤波处理深度噪声，经相机-机器人-世界坐标系的刚性变换，将图像像素点转换为真实世界全局坐标；
- 所有物体的类别、全局坐标、置信度与观测次数全部存入JSON结构化持久记忆库，即使物体脱离相机视野，仍可随时读取其位置信息。
该阶段的核心逻辑是将大模型推理集中完成，导航运行时不再频繁调用VLM，大幅降低了运行时延。
-
阶段2：基于记忆库的TD3无地图导航
用户输入自然语言指令（如“去找消防栓”“走到书架旁边”）后，该阶段按以下流程执行：
- LLM解析自然语言指令，从JSON记忆库中检索目标物体的世界坐标；
- 将目标坐标送入训练完成的TD3强化学习控制器；
- TD3控制器不再依赖阶段1构建的栅格地图，仅依靠实时深度图像与里程计数据，执行无地图反应式导航避障，输出线速度与角速度以控制机器人运动。
TD3网络采用双流特征提取架构：一路CNN处理64×64单通道深度图，提取障碍物几何特征；另一路MLP处理7维状态向量（包含历史速度、到目标距离、目标相对角度、最近障碍物距离等），特征融合后输出机器人连续运动指令。
奖励函数由三部分组成：任务事件奖励（到达目标得+100、碰撞卡死得-100）、运动平滑奖励、动态安全避障惩罚，引导机器人高效且安全地驶向目标。
实验结果与对比分析
研究对比了三种方案的性能：云端GPT-4o mini、可边缘本地运行的轻量化VLM模型Moondream（参数1.86B），以及传统人工势场（APF）规划器作为基线。
| 模型 | 全部试验平均SPL | 成功试验SPL | 成功率 | 定位误差 | 平均完成时间 |
|---|---|---|---|---|---|
| GPT-4o mini + DRL | 0.32±0.38 | 0.70±0.21 | 45% | 1.75m | 13.82s |
| Moondream + DRL | 0.64±0.32 | 0.75±0.19 | 85% | 0.23m | 22.37s |
| Moondream + APF | 0.34 | 0.82 | 42% | 0.23m | 25.98s |
核心实验发现如下：
- 定位精度直接决定导航成败：Moondream的定位误差仅0.23米，是GPT-4o-mini的1/7.6，导航成功率达85%，远超云端大模型；而GPT-4o-mini常出现像素中心偏移、类别错分、被遮挡物干扰等问题，导致坐标严重偏离。
- TD3强化学习控制器显著优于传统APF规划器：相同感知模块下，APF的成功率仅为42%，远低于TD3的85%。
- Moondream本地部署更具优势：无需依赖网络，推理时延波动更小，适合机器人端侧运行；而GPT-4o-mini存在网络抖动问题，最大延迟可达4.8秒。
研究还开展了多重泛化压力测试，包括18类全新未知物体环境、障碍物高密度场景、平面标志物导航、15m×15m未知多房间场景，对应的成功率分别为68%、68%、66%、60%。
从机器人导航轨迹示例来看，即使环境复杂度提升，成功到达目标时的路径效率（SPL）依然保持较高水平，证明TD3控制器具备良好的避障与目标趋近能力。此外，对比传统开放集检测器（如YOLO-World v2.6、Grounding-DINO），VLM更适配以人为中心的机器人交互场景，传统检测器难以直接理解自由形式的自然语言指令。
当前局限与未来改进思路
- 当前假设所有物体为静态，物体移动后JSON记忆库中的坐标会过时；
- 所有实验均在仿真环境完成，尚未迁移至真实物理机器人，真实传感器噪声、里程计漂移会影响定位精度；
- TD3作为本地反应控制器，不擅长超大环境的长距离全局路径规划；
- 未完整实现多步连续语言任务。
未来可从以下方向优化：
- 在目标附近二次调用VLM校验物体位置，更新空间记忆；
- 里程计融合IMU以降低漂移，上层增加全局路径规划模块，与TD3本地控制器形成层级控制；
- 迁移至真实实体机器人开展实机验证。
总结
该框架走出了一条实用的技术路线：
- 将VLM的繁重推理集中在前期探索阶段，导航运行阶段无需频繁调用大模型；
- 采用JSON对象级持久空间记忆，而非稠密语义地图，降低了存储开销；
- 端侧轻量化VLM Moondream可胜过云端大模型，为无网络场景的机器人提供了可行方案；
- SLAM仅用于探索建图，导航执行阶段采用TD3深度强化学习实现无地图反应控制。
该方案对家庭服务机器人、室内巡检机器人的自然语言交互导航具有较高参考价值。
