大模型微调新方向:不增改参数仅删权重,存储效率惊人

当前主流的大模型微调技术,核心思路都围绕参数调整展开:全量微调需要修改模型的绝大多数权重;而LoRA这类方法则是通过新增低秩适配器模块,来适配特定任务的需求。
但如果换个思路呢?既不新增任何权重,也不改动原有权重的数值,仅仅是删除一小部分权重,是否就能让模型获得全新的任务能力?
纽约大学、卡尔加里大学等机构的研究团队就提出了这样一种新方法——删除式微调,为大模型的后训练提供了全新的、反直觉的视角。
这种方法的核心逻辑十分清晰:保持预训练模型的原有参数完全冻结,仅需训练一个二值掩码,用于确定模型中哪些权重保留原值、哪些直接归零。整个训练过程本质上是在生成一份“权重删除清单”,全程不会新增或修改任何原有权重。
研究人员将删除式微调应用于三类主流的大模型后训练场景:基于可验证奖励的强化学习、监督微调,以及在线策略蒸馏。
实验覆盖了Llama和Qwen两大模型系列,参数范围从0.5B到30B不等,在各类任务的最大测试规模下,删除式微调的性能表现与全量微调基本持平。
该方法最突出的优势之一是极高的存储效率:在强化学习实验中,需要删除的权重仅占模型总权重的0.05%不到,训练生成的适配器文件体积比全量微调的检查点小数百倍到数千倍。以Llama 8B模型为例,删除式微调生成的适配器仅为8.4MB,而全量微调的检查点则达到了约30.6GB。
此外,删除式微调还能有效缓解模型的“遗忘问题”:在强化学习实验中,它能让模型在原有任务上的准确率基本保持在基座模型的水平;而全量微调、LoRA以及随机稀疏微调等方法,在部分实验中出现了最高5.4个百分点的准确率下滑。
这项研究为大模型的后训练提供了全新的思路:模型要获得新能力,并非只能通过不断修改参数来实现,有时选择性地移除部分原有权重,同样能改变模型的行为逻辑。
不过,删除式微调目前还存在一些局限:比如训练时的显存开销高于LoRA,实验覆盖范围有限,其在实际部署中的收益也需要进一步验证。
但它提出的问题极具探索价值:大模型的后训练,是否可以从“学习新增什么”的思路,转向“学习保留什么、删除什么”的新方向?

