北大清华团队推出GAPrompt++ 适配3D视觉登国际顶刊
近期，来自多所科研机构的团队提出了名为GAPrompt++的新技术，是一种面向预训练3D视觉模型的多粒度几何感知提示学习方法。该方法的核心是在适配下游任务时，冻结预训练的骨干网络，仅通过轻量的提示模块和任务头完成调整，同时显式建模点云中的局部几何细节与全局结构语义，为3D模型的低成本迁移提供了新路径。
实验结果显示，GAPrompt++在多个点云分类、分割与大规模场景理解数据集上，取得了极具竞争力的参数高效微调性能，在多项分类任务中的表现甚至超过了全量微调。这项研究成果已发表在2026年的国际顶级期刊《IEEE模式分析与机器智能汇刊》上。论文的三位共同第一作者来自国内三所不同的科研机构，通讯作者为北京大学相关领域的研究人员。
研究背景：通用3D模型如何适配真实世界任务
随着激光雷达、RGB-D相机、3D高斯重建和多视图立体重建等技术快速发展，点云数据已成为自动驾驶、机器人、数字孪生与具身智能的重要感知载体。大规模预训练3D模型凭借强大的通用表征能力，在各类任务中展现出潜力。
不过，将预训练模型迁移到具体任务时，传统全量微调需要更新并保存整套骨干参数。随着模型规模和任务数量增长，训练、存储与部署成本迅速上升，还可能破坏预训练阶段获得的通用知识。
参数高效微调为解决这一问题提供了新方向，但直接套用自然语言处理或2D视觉领域的提示学习方法效果并不理想。因为点云具有稀疏、无序、非规则采样的特性，通用提示通常仅在单一尺度上调整特征，难以同时理解局部表面细节、关键部件与整体拓扑结构。
可视化结果显示，传统提示主要在局部Token范围内建立对应关系，而GAPrompt++引入多粒度几何信息后，提示响应能够跨越多个局部区域，与机翼、机身等完整结构部件形成更连贯的对应，实现了更全面的感知。
方法核心：让提示同时捕捉局部细节与整体结构
GAPrompt++的核心思路是，提示不应只是额外加入的一组可学习Token，而应由当前点云实例的几何结构主动生成和调节。为此，研究团队设计了三个相互协同的模块：
- 点偏移提示器：以层次化方式提取不同尺度的几何特征，预测细粒度点偏移，使输入表征更好地对齐下游任务。
- 关键点提示器：从候选区域中自适应选择几何显著点，将最具判别力的局部结构直接转化为实例相关提示。
- 提示传播机制：把不同粒度的几何信息注入预训练骨干的多个层级，让局部线索和全局语义在特征提取过程中持续交互。
整个适配过程中，预训练骨干保持冻结，仅更新几何提示模块与下游任务头，显著减少了训练和存储开销。
多粒度设计的作用十分直观：细粒度提示更关注边缘、局部连接与细小部件，粗粒度提示逐步覆盖完整部件和全局形状，二者互补，让模型既能捕捉局部差异，也能保持整体结构一致性。
相比此前版本的主要进展
GAPrompt++是在团队前期工作的基础上优化而来，主要进展包括：将原有点提示升级为自适应的关键点提示器，强化局部几何显著性建模；将单尺度几何建模扩展为多粒度点偏移与提示传播，统一局部细节和全局语义；新增真实重建场景、大规模场景分割等更全面的实验；构建了两个新的点云数据集，缓解传统点云分类数据集趋于饱和的问题。
实验结果：更少参数，表现优于全量微调
研究团队在四个点云分类数据集上对GAPrompt++进行了系统评估，对比了传统监督学习、全量微调和参数高效微调方法。在不同骨干的最佳配置及投票策略下，GAPrompt++在多个数据集上取得了优异的准确率，且这些结果来自不同骨干配置，并非同一模型在所有数据集上的表现。
在不使用投票的评测设置下，GAPrompt++在三个骨干网络的多个分类任务中，准确率均优于全量微调，在对比的提示学习方法中表现突出。以某骨干为例，仅用0.6M可训练参数，就在两个数据集上分别提升了1.07和0.99个百分点。
此外，研究还在物体部件分割和大规模场景语义分割数据集上进行了验证，GAPrompt++在分割任务中也取得了优于对比方法的结果，体现出从物体识别到密集预测任务的适配能力。
两个新数据集：面向真实3D重建的挑战
传统点云分类数据集多由干净的CAD模型均匀采样得到，近年来已接近性能饱和，也难以覆盖真实重建中的漂移、孔洞、离群点和背景碎片等问题。为提升评测的难度和现实相关性，研究团队构建了两个新的数据集：
- GSModel60：包含13847个点云实例和60个类别，数据来自3D高斯重建结果；
- uCO3D80：包含20464个点云实例和80个类别，数据来自无标定图像集合的重建结果。
这两个数据集保留了重建过程中的不完整表面、几何漂移与噪声干扰，为检验模型鲁棒性和跨域泛化能力提供了更具挑战性的测试环境。
应用价值：为可扩展3D智能提供轻量方案
GAPrompt++为预训练3D模型的低成本迁移提供了新的技术路径，可服务于多个场景：
- 机器人与具身智能：快速适配不同场景、物体类别和感知任务；
- 自动驾驶与大规模场景理解：在有限训练预算下完成点云分割与空间感知；
- 多任务部署：共享同一冻结骨干，仅保存不同任务的轻量提示参数。
这项工作表明，参数高效微调不仅可以减少训练参数，更可以通过引入合适的3D几何归纳偏置，释放预训练模型中尚未被充分利用的结构知识，为3D智能的可扩展发展提供了重要支持。
