Qwen4架构线索泄露：四路残差、稀疏注意力及INT4量化
未发布的千问4模型，正通过开源代码意外透露架构线索。
一份已合并的开源推理内核代码拉取请求（PR），成为外界捕捉下一代模型设计思路的关键来源。该PR来自面向GPU推理加速的开源项目分支，开发者提交的代码原本用于优化此前的某款模型，却在标题中直接关联了尚未正式发布的千问4-27B，同时公开了与模型张量尺寸、注意力计算、残差结构、量化精度及推理解码相关的具体实现。
芯片与底层算子适配是模型发布前的必经环节，硬件厂商通常会提前数月获取模型结构或早期权重，为新模型开发底层推理算子。这些工程细节即使没有完整模型权重，也可能成为外界反推架构的依据，而此次新模型的工程协同痕迹被未经脱敏地推到公开分支，显得较为蹊跷。
开源推理项目的开发者顺着这些线索展开逆向分析，还原出千问4-27B的多项架构特征：该模型延续了上一代千问3.8-27B的稠密架构，同时引入了此前作为千问4架构预览推出的千问3.8-Flash-Next的设计，包括四路残差流、稀疏注意力等；社区还从代码中推断，其前馈网络的中间维度可能有所缩减。
千问3.8-Flash-Next于今年8月发布，是一款125B参数、每Token激活约6B参数的混合专家（MoE）稀疏模型，当时被官方定义为千问4的架构预览。由此可见，相关厂商正在将下一代模型的架构创新同时应用于大型MoE和中等规模稠密模型，而非单纯依赖扩大参数规模提升能力。距离相关厂商在云栖大会上透露千问4已进入训练阶段，仅过去一个多月。
这份编号为#22的PR已被代码仓正式合并，包含10次代码提交、56个文件变更。它明确了千问4-27B的底层推理适配方案：针对该稠密模型，提供TP2 FP8、TP1/TP2 INT4的内核，覆盖双设备FP8推理，以及单设备、双设备INT4量化计算路径。其中，FP8用于降低计算与存储开销，INT4则通过压缩权重精度，减少模型运行时对显存的需求。
对于一款270亿参数的稠密模型，若按每个参数4 bit粗略计算，仅模型权重理论上约需13.5GB存储空间，还不包括KV Cache、中间激活和运行时开销。INT4的适配说明，社区已在为千问4-27B的超低显存部署做准备，以实现更低精度、较少设备资源运行。不过，此次涉及的是GPU高性能计算内核，目前还不意味着千问4已在普通消费级显卡上运行成功。
PR中还出现了千问4-27B的部分推理性能测试记录，在8张加速卡环境下开展的测试显示，千问4 TP2 FP8配置下，32K输入的首Token延迟从约37.41秒缩短至21.84秒，降幅约42%；INT4配置也有接近幅度的改善。这意味着新模型可能在引入额外结构的同时，通过压缩部分传统计算模块，平衡新增的计算与内存成本。
该PR还明确注明，目前未提供千问4的完整模型权重，因此尚未完成基于真实模型的完整端到端验证，相关组合功能也未启用。目前千问4-27B或已进入具体的推理算子适配和优化阶段，但尚不知最终模型权重是否已经准备就绪。
进一步的架构对比显示，千问4-27B并未明显改变上一代模型的基础规模，而是将升级重点放在内部架构上。两代模型均采用27B稠密路线，隐藏层维度同为5120，部分配置也基本一致；但千问4相关实现中，新增了四路Hyper-Connections（HC）、Sigmoid输出门控和QSA稀疏注意力等设计。
其中，四路残差是最值得关注的变化之一，它将传统Transformer的单路残差信息传递扩展为四路，通过门控改善不同网络层之间的信息流动。GDN用于高效压缩历史信息，QSA则通过筛选重要上下文，减少不必要的注意力计算。这些技术此前已在千问3.8-Flash-Next中作为千问4的架构预览公开，如今又出现了针对27B稠密模型的适配线索。
如果相关配置得到证实，千问4-27B的升级重点不在扩大参数规模，而是通过改善信息传递与长上下文计算效率，争取更高的模型能力和推理效率。这也与相关厂商此前公布的下一代模型技术方向相呼应，云栖大会上，相关负责人提到，面向Agent的模型需要更强的推理能力，同时控制长期运行中的计算与存储成本，新架构正是为缓解长上下文计算和历史信息访问开销提供的路线。
新架构甚至可能影响现有推理框架的兼容性，开发者指出，由于四路残差改变了模型内部的信息传递结构，现有针对上一代模型的推理实现已无法直接加载千问4-27B，需要适配新的模型代码，部分基于上一代模型训练的推测解码辅助模型也可能需要重新训练。
当然，社区的分析主要建立在推理内核代码之上，没有正式模型配置和权重，仍无法判断千问4-27B的最终完整架构。相关知情人士透露，按照以往的产品发布节奏，27B规模的模型通常属于较晚发布的批次。
在一个月前的云栖大会上，相关厂商的负责人介绍了集团面向机器智能时代的算力与基础设施规划，同时提及千问下一阶段的发展方向，其中最重要的信息是：基于新一代架构的千问4已经进入训练阶段，后续还计划向5万亿至10万亿参数规模扩展。
这意味着，相关厂商已明确将千问4定位为下一阶段模型架构升级的重要节点，而行业技术演进中，复杂的Agent工作负载正在推动模型厂商同时改进网络架构、注意力计算和推理部署效率，此次代码中出现的相关技术，也与这条发展路线存在明显关联。
