原创 罗西的思考 2026-11-09 20:35 北京

门控多头潜在注意力（Gated MLA）技术梳理

一、技术背景与核心定位

本文介绍的核心技术是门控多头潜在注意力，它是某混合架构中的全局注意力组件。该技术的发展脉络可追溯到早期的多头潜在注意力，由DeepSeek-V2团队首次提出，通过“压缩-重构”的方式将键值缓存的大小从线性增长的量级大幅降低。K3架构在此基础上做了两处关键改动，以适配自身的混合架构设计。

与同期其他技术方案相比，门控多头潜在注意力有着独特的优势：标准多头注意力虽检索精确但缓存随序列长度线性爆炸；DeepSeek MLA通过潜在压缩降低缓存，但仍需依赖旋转位置编码；门控多头潜在注意力则在缓存小的基础上，实现了免位置参数手术，还能通过输出门实现逐通道可控，不过其依赖线性注意力层提供位置信息，压缩过程会带来一定的检索精度损失。

一句话定位：不同于仍需依赖旋转位置编码的早期MLA，门控多头潜在注意力通过无位置编码的设计和全秩输出门，实现了缓存小、无需调整位置参数、逐通道可控的全局注意力能力。

二、核心原理讲解

2.1 引入MLA的必要性

固定大小的线性注意力层无法无损保存无限长的历史信息。随着上下文不断变长，新的Token会持续写入、覆写旧的状态，导致在需要精确回忆细节的任务中，线性状态会逐渐遗忘目标信息，精准召回能力下降。遗忘门和Delta Rule能改善写入策略，但无法让固定容量变成无限大。

因此，混合架构成为自然的折中方案：线性注意力层负责低成本聚合长历史，全局或稀疏注意力层提供更直接的历史访问路径，两者结合在效率和精确回忆之间取得平衡。

2.2 直觉类比视角

可以想象有一个智能摘要员，每来一条新信息，它不存储全文，只记录一句高度压缩的摘要，放进小本子里。要回答问题时，再根据摘要“脑补”细节。这里有两个关键特点：一是本子很小，摘要只有低维的大小，而非原文的高维，百万条信息也只占很小空间；二是它不记位置，位置信息由搭档的线性注意力层负责，上下文扩展到百万条也无需调整位置参数。

最后，摘要员交出答案前，会根据当前问题决定每块读多少，这就是“门控”的来源，通过输出门控制信息的读取量。

2.3 准专业水平视角

从准专业角度看，输入是隐藏状态，经过压缩得到潜在向量，再从潜在向量展开得到键和值，通过因果注意力计算输出，最后通过全秩输出门逐通道调制后得到最终结果。

2.4 专家视角

压缩能生效的原因是键值高维表示冗余大，低维潜在向量能捕获主要信息，代价是逐Token精确检索会被模糊化，这也是混合架构存在的原因。无位置编码的必要性在于，位置信息由线性注意力层的递推衰减提供，这是K3支持百万上下文的关键设计。全秩输出门的优势是让每个通道都能独立调制，表达力更强。

2.5 实现代码核心逻辑

代码的核心是压缩-重构的过程，缓存只存储压缩后的潜在向量，解码时再展开得到键和值。训练时注意力输出会用FP32累加，修正低精度舍入误差。门控的核心是全秩输出门，通过逐通道的乘法调制控制信息的输出量。

2.6 门控的具体体现

门控体现在三个地方，核心是全秩输出门。门的参数是全秩的，输出维度等于拼接后的v的全宽，每个通道都有独立的门值。计算时，通过sigmoid函数得到逐通道的掩码，和注意力输出逐元素相乘，决定每个通道的读取量。

三、子知识点拆解与深度分析

3.1 潜在压缩-重构

这是MLA的核心，将高维隐藏状态压缩到低维潜在向量，缓存只存储这个低维向量，而不是每Token的键和值。这样缓存大小从线性增长变成和低维大小成正比，压缩比可达约48倍。

3.2 全秩输出门

全秩输出门让每个Token能独立调制每个通道，相比低秩门，表达力更强。它的设计是输入依赖的，每个Token根据自身输入决定每个通道的输出量，能完全关闭某些通道，也能完全打开。

3.3 无位置编码

MLA层不应用任何位置编码，位置信息由线性注意力层的递推衰减提供，这样上下文扩展到百万时无需调整位置参数，是K3支持长上下文的关键设计。

3.4 解码缓存

解码缓存只存储压缩后的潜在向量，每个Token只存储低维的潜在向量，相比标准注意力的缓存，大小大幅降低。增量解码时，只需追加潜在向量，不需要重新计算所有键和值。

3.5 FP32注意力累加

训练时注意力输出用FP32累加，修正低精度舍入误差，提升数值稳定性，代价是训练速度变慢，显存占用变高。

四、模块实现与演示

4.1 实现概述

本演示覆盖了门控多头潜在注意力的核心类，对应K3技术报告中的定义，核心卖点是压缩+重构，把每个Token的键和值压进低维潜在向量，缓存只存储这个潜在向量，真正参与注意力时再展开成每头的键和值。

4.2 核心数学

核心公式包括查询路径、键值压缩-重构、Softmax注意力和全秩输出门。压缩缓存的公式是将高维隐藏状态压缩到低维潜在向量，全秩输出门是逐通道的乘法调制，无位置编码省去了位置参数的计算，FP32累加提升了数值精度。

4.3 交互式演示

可以通过运行相关代码启动交互式演示，查看门控的作用、压缩的效果、缓存大小的变化等，帮助理解门控多头潜在注意力的核心设计。