阿德莱德大学吴琦团队VLN：从R2R到通用具身智能

视觉语言导航（VLN）是具身智能领域的重要研究方向，它要求智能体根据自然语言指令，结合视觉感知与环境交互信息，在复杂空间中完成自主导航任务。澳大利亚阿德莱德大学吴琦课题组及其合作团队在该领域开展了长期且系统的研究，从2018年的R2R导航基准，到NavGPT系列大模型导航框架，再到VLNVerse统一仿真平台，成果覆盖了VLN的任务构建、算法研发、仿真评测与真实机器人应用等多个核心方向。本文将梳理该团队2018至2026年间的代表性工作，解析其技术演进脉络与核心创新价值。

代表性成果总览

按照研究问题与技术特点，该团队的VLN研究成果可归纳为八大方向，各方向的代表性工作如下：

1. VLN任务与跨模态表征：从基准构建到跨模态预训练

作为VLN研究的基础，该方向的成果为后续技术发展提供了核心支撑。2018年，研究团队提出R2R导航任务与配套仿真环境，为现代VLN研究建立了统一的基准框架；后续的REVERIE任务则将导航目标从“跟随路径”扩展至“定位指定物体”，强化了语言理解、目标搜索与视觉定位的语义关联。在模型层面，VLN-BERT将跨模态预训练Transformer引入循环式导航决策，实现了语言、视觉与历史状态的高效交互；Landmark-RxR进一步构建细粒度地标对齐数据集，为语言片段与导航轨迹的匹配提供更精准的监督信号；HOP系列工作则通过历史感知、时序建模等预训练任务，增强了模型对导航过程的理解能力，而VLN-PETL则探索了参数高效迁移，在减少计算开销的同时保留了跨模态交互性能。

2. 语义知识与空间推理：从目标搜索到结构化世界表征

在真实导航场景中，智能体常需寻找视野外的目标，仅依赖局部视觉观察难以完成复杂任务。该方向的研究从语义关系辅助定位起步，CKR通过房间与物体的语义关系辅助远程目标定位，让智能体可利用环境知识推断目标位置；ACK则进一步增强常识知识对目标搜索的作用。随着多模态大模型发展，研究扩展至显式空间结构建模，SpatialNav构建空间场景图，组织环境的语义与拓扑信息，为零样本导航提供全局参考；2026年的One Agent to Guide Them All则提出交互式度量世界表征，将底层空间状态估计与高层语义规划解耦，使模型可基于结构化环境状态推理决策，并在轮式机器人与无人机上验证了跨实体应用能力。

3. 大模型导航推理与动作规划：从语言推理到分层导航系统

随着大语言模型的发展，研究团队探索利用其通用知识与推理能力辅助导航决策。March in Chat结合房间-物体感知与大模型，根据环境观察动态调整导航规划；NavGPT提出基于大模型的显式导航推理框架，使智能体可结合任务指令、当前观察与历史信息分析导航状态并选择动作；NavGPT-2将研究拓展至大型视觉语言模型，结合多模态理解与专门导航策略，改善模型推理与实际决策的衔接；VLN-Copilot则提出“按需调用大模型”的思路，当智能体遇到困惑时才借助大模型辅助，而非全程依赖；2026年的NavGPT-3进一步结合大模型推理、视觉语言动作策略与分层运行时机制，协调高层规划、执行与监控过程，在仿真基准上取得90.43%的成功率。

4. 连续导航与真实具身执行：从离散路径到物理动作

传统VLN多在离散导航图上决策，而真实机器人需处理连续空间的位移、转向与障碍物。Bridging the Gap通过航路点预测连接离散策略与连续环境，为导航策略迁移提供基础；NaVid探索利用单目RGB视频与语言指令直接预测导航动作，减少对预建地图的依赖；Open-Nav研究基于开源大模型的零样本连续导航，通过时空推理辅助任务理解；MiniVLN与SmartWay则分别从模型压缩与航路点优化入手，降低计算开销并提高执行效率；2026年的Embodied Agents Take Control则探索了更灵活的具身控制方式，让通用基础模型通过有限接口组织感知、推理与行动循环，无需完全依赖固定工作流。

5. 导航数据、模型泛化与长期记忆：从单次导航到持续自主

传统VLN模型多围绕特定任务训练，跨场景、跨任务的泛化能力有限。ScaleVLN通过大规模数据生成扩展训练资源，利用三维环境合成导航指令与轨迹，为模型预训练提供更丰富的数据基础；SAME与General Scene Adaptation分别探索状态自适应处理与环境适应机制，提升模型的泛化能力；NavFoM则研究面向不同实体的统一导航基础模型；2026年的NavHarness进一步关注跨任务记忆，采用无需额外训练的框架，在不同任务间维护地图、任务记录与环境知识，让智能体可利用历史经验辅助后续搜索与恢复。

6. 具身仿真平台与能力评测：从单一基准到统一具身环境

随着VLN研究发展，传统任务在环境规模、运动约束等方面的局限逐渐显现。AerialVLN将导航扩展至无人机与三维城市环境，WebVLN则探索网页交互场景的导航任务；NavBench区分多模态大模型的导航理解与执行能力，分析指令对齐、任务进度等差异；VLNVerse则构建统一具身仿真与评测平台，整合不同导航任务，引入带运动学约束的智能体与物理仿真环境，提供统一评测框架；VLN-MME则从模块化角度评测多模态大模型的导航能力，形成了涵盖任务、仿真、评测的系统化研究布局。

7. 人机交互、目标定位与错误恢复：从单向指令到双向协作

传统VLN采用一次性指令交互，而真实环境中语言描述可能存在歧义，导航过程也可能出现偏差。VLN-Copilot研究导航困难时的大模型辅助决策；GroundingMate与REALM关注物体定位，强调机器人需准确识别目标；2026年的Ask When It Pays研究主动询问的时机与成本，将交互视为代价敏感的不确定性消除问题；Talk2Escape则将主动询问与错误恢复结合，让智能体在轨迹偏离时通过外部反馈调整行动，体现了从单向执行到双向协作的发展趋势。

8. 导航安全、鲁棒性与环境变化：从性能提升到可信执行

随着VLN走向实际应用，仅关注正常环境下的成功率已不足够。Navigating Beyond Instructions研究环境变化时的导航调整；VLN-ChEnv关注可变化环境中的导航策略适应；安全方面，Everyday Object Meets VLN Agent via Backdoor研究后门攻击的异常行为，BadNAVer则分析恶意指令对多模态大模型导航的安全风险，说明导航安全性、鲁棒性与可靠性已成为重要研究方向。

2018—2026年代表性论文清单

以下为该团队署名的主要VLN成果及相关合作研究，论文链接可直接访问查阅：