文章摘要
纽约大学、卡尔加里大学等机构团队提出大模型删除式微调新方法,冻结原有参数仅训练二值掩码筛选需归零的权重,性能与全量微调基本持平,存储效率极高且可缓解模型遗忘问题,不过目前存在训练显存开销高于LoRA等局限,落地收益仍待验证。

当前主流的大模型微调技术,核心思路都围绕参数调整展开:全量微调需要修改模型的绝大多数权重;而LoRA这类方法则是通过新增低秩适配器模块,来适配特定任务的需求。

但如果换个思路呢?既不新增任何权重,也不改动原有权重的数值,仅仅是删除一小部分权重,是否就能让模型获得全新的任务能力?

纽约大学、卡尔加里大学等机构的研究团队就提出了这样一种新方法——删除式微调,为大模型的后训练提供了全新的、反直觉的视角。

这种方法的核心逻辑十分清晰:保持预训练模型的原有参数完全冻结,仅需训练一个二值掩码,用于确定模型中哪些权重保留原值、哪些直接归零。整个训练过程本质上是在生成一份“权重删除清单”,全程不会新增或修改任何原有权重。

研究人员将删除式微调应用于三类主流的大模型后训练场景:基于可验证奖励的强化学习、监督微调,以及在线策略蒸馏。

实验覆盖了Llama和Qwen两大模型系列,参数范围从0.5B到30B不等,在各类任务的最大测试规模下,删除式微调的性能表现与全量微调基本持平。

该方法最突出的优势之一是极高的存储效率:在强化学习实验中,需要删除的权重仅占模型总权重的0.05%不到,训练生成的适配器文件体积比全量微调的检查点小数百倍到数千倍。以Llama 8B模型为例,删除式微调生成的适配器仅为8.4MB,而全量微调的检查点则达到了约30.6GB。

此外,删除式微调还能有效缓解模型的“遗忘问题”:在强化学习实验中,它能让模型在原有任务上的准确率基本保持在基座模型的水平;而全量微调、LoRA以及随机稀疏微调等方法,在部分实验中出现了最高5.4个百分点的准确率下滑。

这项研究为大模型的后训练提供了全新的思路:模型要获得新能力,并非只能通过不断修改参数来实现,有时选择性地移除部分原有权重,同样能改变模型的行为逻辑。

不过,删除式微调目前还存在一些局限:比如训练时的显存开销高于LoRA,实验覆盖范围有限,其在实际部署中的收益也需要进一步验证。

但它提出的问题极具探索价值:大模型的后训练,是否可以从“学习新增什么”的思路,转向“学习保留什么、删除什么”的新方向?

以上内容不代表本平台立场,仅供读者参考