复旦邱锡鹏团队揭秘长上下文大模型混合架构有效机制
混合架构为什么有效，以及怎样设计得更有效？这是当前长上下文大语言模型领域的核心问题之一。
长上下文已成为大语言模型的关键基础能力，但全注意力机制虽能建模任意位置的关系，却会带来随序列长度显著增长的计算与显存开销；滑窗注意力、线性注意力等高效方案虽能控制计算与存储复杂度，却在效果上存在明显不足。因此，混合架构逐渐成为当前大语言模型设计的主流方向。
针对混合架构应如何选择混合对象的问题，相关团队的最新研究给出了答案：无需纠结单一类型，而是要实现“混合位置”——即无位置偏置的注意力（NoPE）与带显式或隐式位置偏置的注意力（如RoPE、滑窗注意力SWA、门控线性注意力GLA/GDN）的混合。该研究从混合位置的角度，系统对比了多种混合架构在长上下文任务中的表现，并分析了不同注意力模块的协同机制。
研究团队在376M、776M、1B和3B四种模型规模上开展实验：模型先进行4k上下文的短文预训练，再进行32k上下文的长文续训；评测覆盖PG19 PPL、LongPPL、RULER、BABILong和LongBench等多个长文任务，同时比较层混合（LH）与头混合（HH）两种混合方式。
研究首先发现，混合位置能让混合架构获得更优的长文表现：NoPE注意力不引入位置偏置，与带位置偏置的注意力混合后，既能增强长文训练的扩长表现，又能实现即插即用的长度外推。
不过不同混合架构仍存在性能分化：短文预训练后，SWA-NoPE混合通常展现出很强的长度外推能力，即使训练上下文仅4k，也能在更长上下文上保持较好表现；但长文续训后，SWA-NoPE的表现被GLA-NoPE或GDN-NoPE超越，尤其是在层混模型中更为明显，这一现象被称为“滑窗混合扩长的跷跷板效应”。与之对应，线性混合模型在长文续训中的拟合能力更强，但长度外推能力不如滑窗混合模型，即“线性混合没有免费午餐效应”。
针对滑窗混合的问题，研究进一步分析发现，SWA-NoPE层混模型在长文续训后，短文位置的损失下降明显，但长文位置的损失改善有限，模型过度关注滑窗能访问的局部信息，未充分学习利用更远上下文，这被称为“短上下文学习陷阱”。深入分析还发现，短窗口在短文预训练时利于长度外推，但在长文续训时会限制模型学习长上下文依赖，即“短窗口疲惫与长窗口懒惰”。对此，论文通过增大滑窗窗口并结合LongCE损失，显著提升了SWA-NoPE/RoPE层混模型的长文续训表现，在多个模型规模上接近甚至达到线性混合模型的水平。
线性注意力在长文续训中拟合能力较好，但外推时性能不如滑窗混合，研究从相对位置信息角度分析认为，GLA和GDN虽不使用传统RoPE，但门控机制包含隐式位置偏置，随距离增加门控累积可能导致训练外的分布变化。基于此，论文提出滑窗线性注意力（SWLA）：推理时对GLA/GDN的有效相对位置范围施加滑窗约束，同时对NoPE注意力使用对数校正以增强全局聚合能力。这套策略被称为“混合位置外推的马太效应”，能显著改善GLA-NoPE、GDN-NoPE混合的长度外推，例如在RULER的NIAH-SK1任务上，模型从4k训练长度外推到64k，实现16倍免训练外推且保持100%准确率。
为理解混合架构的有效性，研究还分析了不同注意力模块的特征：NoPE注意力更倾向于粗粒度的全局聚合，在长上下文中保持较高的检索命中率；RoPE、SWA和线性注意力则更多利用位置偏置限制噪声，同时影响长文任务的下游表现。以RoPE-NoPE混合为例，NoPE全注意力相比RoPE全注意力具有更高的注意力分数命中率和更大的注意力熵，表现出粗粒度但有效的全局聚合，随着混合比例变化，两者在熵-命中率空间中的分布边界也会改变，这种协作模式被称为“混合位置的潮汐效应”。
这项研究围绕“混合架构为什么有效，以及怎样设计得更有效”两个核心问题，得出了六条关键结论：
- 结论1：从混合注意力到混合位置。混合位置指NoPE注意力与其他带位置偏置注意力的混合，在长度外推与长文训练中更有效。
- 结论2：滑窗混合扩长的跷跷板效应。滑窗混合（SWA-NoPE）长度外推更好，但扩长训练不如线性混合（LA-NoPE），尤其在层混模型中。
- 结论3：线性混合没有免费午餐效应。线性混合（LA-NoPE）扩长训练更好，但长度外推不如滑窗混合（SWA-NoPE）。
- 结论4：混合位置协同的潮汐效应。混合位置的有效协作依赖少数NoPE注意力实现粗糙聚合，多数带位置偏置注意力限制噪声，两者在熵命中率散点图中的分布边界随比例变化。
- 结论5：短窗口疲惫与长窗口懒惰。滑窗混合的长上下文训练存在短上下文学习陷阱，短窗口利于短文预训练的长度外推，但长窗口利于长文续训的扩长训练。
- 结论6：混合位置外推的马太效应。混合位置模型中，带位置偏置的注意力通过滑窗限制局部感知，无位置偏置的注意力通过对数校正增强聚合，可获得良好的外推效果。
研究团队从训练推理阶段的长文效果差异和注意力内部行为分析出发，建立了从现象到机制再到改进的分析链条，表明混合架构的优势来自不同注意力模块的功能互补，而非单一模块在所有场景下都最优。线性注意力适合高效学习和拟合长上下文，滑窗机制适合推理时控制相对位置实现长度外推，NoPE注意力则提供粗糙但有效的全局聚合，将这些能力合理组织，是长上下文混合架构的重要发展方向。
论文聚焦于滑窗注意力、线性注意力等高效注意力与全注意力的混合架构，研究其在预训练阶段的长文表现。未来，研究团队还将探索后训练阶段、多模态训练阶段及稀疏注意力、压缩注意力混合架构的表现。
