DOPD：大模型蒸馏性能飞跃，缩小师生差距达89.8%

在大模型轻量化研究中，通过小模型复刻大模型的能力一直是核心方向之一。作为当前高效的模型能力迁移范式，在策略蒸馏（On-policy Distillation, OPD）通过让学生模型在自身生成的轨迹上接收教师的逐token监督，既缓解了训练中的分布偏移问题，又能提供密集的学习信号，已经成为大模型后训练的主流路径。

不过这一方向正面临一个隐蔽的瓶颈：当研究者尝试引入特权信息——比如推理分步提示、结构化标注等——来提升教师模型的监督质量时，蒸馏效果往往不升反降。学生模型表面上在拟合教师的输出分布，但实际上学到的只是无法迁移的信息捷径，而非真正的推理与决策能力。

针对这一痛点，来自多所高校与科研机构的团队推出了DOPD（Dual On-policy Distillation），也就是优势感知的双路在策略蒸馏范式。该方法通过动态为每个token分配不同来源、强度与形式的监督信号，从根源上缓解了“特权幻觉”问题，大幅提升了蒸馏的有效性、稳定性与泛化性。相关实验在大语言模型与多模态大模型两大场景、数十个基准测试上全面超越了现有方法，为OPD研究开辟了全新的路径。

一、特权幻觉：被忽略的蒸馏陷阱

在传统OPD的思路中，人们普遍认为教师模型越强，学生能学到的能力就越多。因此一个很自然的优化方向，就是给教师或学生注入特权信息，比如给推理题添加分步提示、给视觉任务添加物体标注框，让模型获得更精准的预测分布，从而提升蒸馏的理论上限。

但这一思路暗藏着一个致命漏洞：特权信息带来的性能提升，并不等同于可迁移的能力差距。

研究团队发现，当教师拥有学生没有的特权信息时，二者之间的性能差距实际上混杂了两种完全不同的成分：

• 真实能力差距：教师本身具备的推理、决策与知识储备优势，这是学生可以通过蒸馏真正习得的部分；
• 信息不对称差距：仅仅由特权输入带来的“信息差优势”，学生在推理时没有对应的输入条件，永远无法真正掌握这类信息，只能生硬地拟合表面的输出结果。

这种将“信息差”误当作“能力差”的现象，研究团队将其定义为特权幻觉（Privilege Illusion）。如果不加区分地蒸馏带有特权信息的教师分布，会引导学生去拟合特权信息主导的捷径，而非底层的推理能力，最终导致训练后期熵值崩塌、探索性下降、泛化能力变差，甚至不如不使用特权信息的基线模型。

更棘手的是，token级的监督信号天然分布不均：一条生成轨迹中，只有少数token承载了关键决策、核心推理、证据锚点等高价值能力信息；而大量连接词、过渡句或确定性内容的监督价值很低，且更容易被特权信息主导。现有OPD方法对所有token一视同仁地使用同一种监督策略，进一步放大了特权幻觉的负面影响。

二、DOPD：优势感知的双路动态蒸馏

既然单一监督源、统一蒸馏强度无法解决特权幻觉的问题，DOPD的核心思路应运而生：同时利用“带特权的教师”与“带特权的学生”双路信号，根据每个token的“特权优势差”动态路由监督策略。让能力差大的token重点学习，信息差主导的token保守学习，不确定的token稳定训练。

1. 用「特权优势差」区分真实能力与信息差

要实现精准的蒸馏，首先需要能够分辨每个位置上教师的优势，到底来自真正的模型能力，还是单纯的信息不对称。

DOPD的解决方法是：让教师和学生同时获得相同的特权信息，再计算二者在该token上的对数概率差值，将其定义为特权优势差（Privilege Advantage Gap）。

• 如果差值较大：说明在同等信息条件下，教师依然显著优于学生，这里存在真实的能力差距，属于高价值的学习点；
• 如果差值较小：说明二者表现接近，原有的教师优势主要来自信息不对称，可迁移的能力非常有限。

通过消融实验验证：移除高优势差的token，蒸馏效果会出现断崖式下跌；而移除低优势差的token，对最终结果几乎没有影响。这直接证明了特权优势差可以有效定位真正承载模型能力的token。

2. 四类token，四种定制化蒸馏策略

在特权优势差的基础上，DOPD进一步结合教师与学生各自的预测置信度，将所有token划分为四个区间，每个区间匹配完全不同的监督来源、损失函数与蒸馏粒度：

• 高优势差 + 教师高置信：核心能力承载token：采用全词表JS散度进行强教师蒸馏，让学生完整学习教师的主决策与次优偏好，最大化能力迁移效率。
• 低优势差 + 双高置信：信息差主导的共识token：采用Top-K反向KL的轻量教师蒸馏，保守吸收特权信息中的有效知识，避免过度拟合特权捷径。
• 高优势差 + 学生高置信：学生自有探索性token：采用Top-K反向KL的轻量学生自蒸馏，在保留学生自身有效探索的同时，维持策略一致性。
• 低优势差 + 双低置信：双方都不确定的边缘token：采用更小权重的学生自正则，不强制模仿不确定的教师信号，仅用特权学生作为锚点稳定训练，防止策略漂移。

通过这种“双监督源 + 动态路由”的机制，DOPD实现了监督强度、目标、粒度的三重自适应：高价值token学深学透，低价值token点到为止，既充分利用了特权信息带来的能力增益，又最大限度规避了特权幻觉的负面影响。

三、多场景全面验证

研究团队在大语言模型（LLM）与多模态大模型（VLM）两大主流场景下开展了详尽实验，覆盖通用能力、推理、编码、视觉理解等多个维度，结果充分验证了DOPD的优越性。

1. 主任务性能：显著超越所有基线

• LLM场景（Qwen3-8B → Qwen3-1.7B）：在8个基准测试上平均得分51.4，相比Vanilla OPD提升7.5分，相比ExOPD、Uni-OPD、EOPD等强基线分别提升4.4、4.8、5.3分，师生性能差距缩小达到89.8%，甚至在推理、编码等多个高难度任务上超越了原始教师模型。
• VLM场景（Qwen3-VL-8B → Qwen3-VL-2B）：8个基准平均得分58.4，相比Vanilla OPD提升6.0分，相比Vision-OPD、VA-OPD等视觉蒸馏方法分别领先2.8、2.1分，师生差距缩小达69.2%。

2. 扩展性：师生模型差距越大，优势越明显

针对5组不同规模的师生模型对的测试显示，DOPD的提升具有极强的普适性：无论师生模型的大小比例如何，都能带来稳定且显著的收益。

尤其在师生规模差距极大的场景（如8B→0.6B），Vanilla OPD因分布差异过大只能带来3.5分的提升，而DOPD依然能实现14.1分的增益，师生差距缩小达到53%，有效解决了“强教师教不动小学生”的痛点。

3. 综合能力：稳定、抗遗忘、泛化强

除了核心性能，DOPD在更多实用维度上表现突出：

• 训练更稳定：训练全程熵值健康，不会出现自蒸馏等方法常见的熵崩塌与后期性能回落，训练效率更高，80步即可超过其他方法200步的水平；
• 持续学习更优：三阶段持续学习中，新能力稳步增长，旧能力遗忘极少，实现了真正的增量式能力积累；
• 分布外泛化更强：跨任务迁移能力显著优于基线，在训练域之外的任务上依然保持明显优势。

DOPD: Dual On-policy Distillation
https://arxiv.org/abs/2606.30626

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。