轻量化复刻KIMI K3:Muon优化器及训练系统
文章摘要
2026年11月发布的本文为轻量化复刻KIMI K3的系列内容,梳理Muon优化器发展脉络:2024年该优化器被首次提出后获理论支撑,2025年Moonshot AI联合UCLA的研究解决其规模化问题,成为KIMI K3的实现基础。文中还对比其与同类优化器优劣,讲解原理,开源全CPU可运行的轻量化实现代码及demo。

原创 | 罗西的思考 | 2026-11-18 20:40 | 北京
轻量化复刻大模型:Muon优化器及训练系统
一、论文溯源:Muon的起源与核心关系
分析范围:覆盖Muon优化器的原理、Per-Head变体、Newton-Schulz正交化、参数分组策略、QK-Clip、分布式P2P Muon、学习率调度、训练循环、配置系统等核心模块。
<h3 style="font-size: 18px; font-weight: bold; margin-bottom: 10px;">1.1 原始论文定位</h3>
<table style="width: 100%; border-collapse: collapse; margin-bottom: 20px;">
<thead>
<tr style="background-color: #f0f0f0;">
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">论文</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">作者</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">机构</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">年份</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">出处</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">arXiv ID</th>
</tr>
</thead>
<tbody>
<tr>
<td style="border: 1px solid #ccc; padding: 8px;">Muon: An Optimizer for Hidden Layers in Neural Networks</td>
<td style="border: 1px solid #ccc; padding: 8px;">Keller Jordan, Yuchen Jin, Vlado Boza, You Jiacheng, Franz Cesista, Laker Newhouse, Jeremy Bernstein</td>
<td style="border: 1px solid #ccc; padding: 8px;">独立研究者</td>
<td style="border: 1px solid #ccc; padding: 8px;">2024</td>
<td style="border: 1px solid #ccc; padding: 8px;">博客 + 社区</td>
<td style="border: 1px solid #ccc; padding: 8px;">blog</td>
</tr>
<tr style="background-color: #f8f8f8;">
<td style="border: 1px solid #ccc; padding: 8px;">Muon is Scalable for LLM Training</td>
<td style="border: 1px solid #ccc; padding: 8px;">Jingyuan Liu, Jianlin Su 等 (Moonshot AI + UCLA)</td>
<td style="border: 1px solid #ccc; padding: 8px;">Moonshot AI, UCLA</td>
<td style="border: 1px solid #ccc; padding: 8px;">2025.02</td>
<td style="border: 1px solid #ccc; padding: 8px;">技术报告</td>
<td style="border: 1px solid #ccc; padding: 8px;">arXiv:2502.16982</td>
</tr>
<tr>
<td style="border: 1px solid #ccc; padding: 8px;">Old Optimizer, New Norm: An Anthology</td>
<td style="border: 1px solid #ccc; padding: 8px;">Jeremy Bernstein, Laker Newhouse</td>
<td style="border: 1px solid #ccc; padding: 8px;">—</td>
<td style="border: 1px solid #ccc; padding: 8px;">2024</td>
<td style="border: 1px solid #ccc; padding: 8px;">论文</td>
<td style="border: 1px solid #ccc; padding: 8px;">arXiv:2409.20325</td>
</tr>
</tbody>
</table>
<p style="margin-bottom: 15px;"><strong>核心关系</strong>:
<ul style="padding-left: 20px; margin: 10px 0;">
<li style="margin-bottom: 8px;">Jordan等人2024年首次提出Muon优化器,基于Newton-Schulz迭代对梯度动量矩阵做正交化处理</li>
<li style="margin-bottom: 8px;">Bernstein & Newhouse从谱范数最陡下降角度,为Muon提供了理论基础</li>
<li style="margin-bottom: 8px;">Liu等人2025年的研究解决了Muon的规模化问题,引入weight decay、update RMS scaling、Per-Head正交化,使Muon可用于训练数十亿参数的LLM;KIMI K3的Muon实现直接基于此论文</li>
</ul>
</p>
<h3 style="font-size: 18px; font-weight: bold; margin-bottom: 10px;">1.2 论文相关图表</h3>
<table style="width: 100%; border-collapse: collapse; margin-bottom: 20px;">
<thead>
<tr style="background-color: #f0f0f0;">
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">图/表</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">含义</th>
</tr>
</thead>
<tbody>
<tr>
<td style="border: 1px solid #ccc; padding: 8px;">Liu et al. Figure 1</td>
<td style="border: 1px solid #ccc; padding: 8px;">Muon vs AdamW的SVD熵对比——Muon训练的权重矩阵保持更高的SVD熵,意味着更多方向的均匀学习</td>
</tr>
<tr style="background-color: #f8f8f8;">
<td style="border: 1px solid #ccc; padding: 8px;">Liu et al. Figure 3</td>
<td style="border: 1px solid #ccc; padding: 8px;">Update RMS一致性分析——Per-Head缩放使所有层的更新RMS保持一致</td>
</tr>
<tr>
<td style="border: 1px solid #ccc; padding: 8px;">Liu et al. Table 1</td>
<td style="border: 1px solid #ccc; padding: 8px;">超参数配置表——Muon和AdamW的最佳超参数组合</td>
</tr>
</tbody>
</table>
<h3 style="font-size: 18px; font-weight: bold; margin-bottom: 10px;">1.3 注意说明</h3>
<ul style="padding-left: 20px; margin: 10px 0;">
<li style="margin-bottom: 8px;">项目仓库:<a href="https://github.com/RossiLH/Model-Viz" style="color: #000; text-decoration: underline;">https://github.com/RossiLH/Model-Viz</a>,属于系列博客的一部分,学习过程中的尝试,欢迎反馈改进意见</li>
<li style="margin-bottom: 8px;">涉及模型:KIMI K3、DeepSeek V4、PI0.5、PI0.7等,后续会跟踪新模型</li>
<li style="margin-bottom: 8px;">全CPU复刻,不涉及GPU,也不涉及大规模训练和硬件</li>
<li style="margin-bottom: 8px;">模型组件尽量采用原始大模型的缩小版,无开源组件时用近似组件替代</li>
<li style="margin-bottom: 8px;">重点是理解组件解决的问题、难点、解法原理,以及组件间的协同,而非记忆名词</li>
<li style="margin-bottom: 8px;">每个主要组件都有可直接运行的Gradio demo(无需GPU),另有plot_*.py可视化脚本生成静态图</li>
<li style="margin-bottom: 8px;">文件行号基于本地源码快照,函数名和调用关系可作为定位入口</li>
<li style="margin-bottom: 8px;">部分内容会在系列文章中重复,存在冗余,敬请理解</li>
</ul>
二、优化器的演进脉络与定位
<h3 style="font-size: 18px; font-weight: bold; margin-bottom: 10px;">2.1 前身:SGD到AdamW的“向量化”缺陷</h3>
<p style="margin-bottom: 15px;">Muon的诞生源于长期被忽视的问题:标准优化器将矩阵参数视为一维向量,完全忽略了其矩阵结构。</p>
<table style="width: 100%; border-collapse: collapse; margin-bottom: 20px;">
<thead>
<tr style="background-color: #f0f0f0;">
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">前代方案</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">核心机制</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">关键缺陷</th>
</tr>
</thead>
<tbody>
<tr>
<td style="border: 1px solid #ccc; padding: 8px;">SGD + Momentum</td>
<td style="border: 1px solid #ccc; padding: 8px;">逐元素更新,动量缓冲</td>
<td style="border: 1px solid #ccc; padding: 8px;">不区分参数矩阵的不同方向,学习速率受最大奇异方向主导</td>
</tr>
<tr style="background-color: #f8f8f8;">
<td style="border: 1px solid #ccc; padding: 8px;">Adam/AdamW</td>
<td style="border: 1px solid #ccc; padding: 8px;">逐元素自适应学习率(二阶矩归一化)</td>
<td style="border: 1px solid #ccc; padding: 8px;">每个元素独立缩放,破坏矩阵的几何结构;计算开销大(维护两个动量缓冲)</td>
</tr>
</tbody>
</table>
<p style="margin-bottom: 15px;"><strong>核心痛点</strong>:权重矩阵W的梯度动量M奇异值分布不均匀,某些方向梯度大,某些方向梯度小。Adam对每个元素独立缩放,等价于在不同方向使用不同的学习率,导致梯度大的方向过度校正、梯度小的方向学习不足、整体训练动态不稳定。</p>
<h3 style="font-size: 18px; font-weight: bold; margin-bottom: 10px;">2.2 同期竞品对比</h3>
<table style="width: 100%; border-collapse: collapse; margin-bottom: 20px;">
<thead>
<tr style="background-color: #f0f0f0;">
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">方案</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">核心机制</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">优势</th>
<th style="border: 1px solid #ccc; padding: 8px; text-align: left;">劣势</th>
</tr>
</thead>
<tbody>
<tr>
<td style="border: 1px solid #ccc; padding: 8px;">Muon</td>
<td style="border: 1px solid #ccc; padding: 8px;">矩阵正交化(Newton-Schulz)</td>
<td style="border: 1px solid #ccc; padding: 8px;">保持矩阵几何结构,更新方向均匀</td>
<td style="border: 1px solid #ccc; padding: 8px;">仅适用于2D矩阵,需要额外正交化计算</td>
</tr>
<tr style="background-color: #f8f8f8;">
<td style="border: 1px solid #ccc; padding: 8px;">AdamW</td>
<td style="border: 1px solid #ccc; padding: 8px;">逐元素自适应 + 解耦 weight decay</td>
<td style="border: 1px solid #ccc; padding: 8px;">通用性强,工程成熟</td>
<td style="border: 1px solid #ccc; padding: 8px;">忽略矩阵结构,SVD 熵低</td>
</tr>
<tr>
<td style="border: 1px solid #ccc; padding: 8px;">Lion</td>
<td style="border: 1px solid #ccc; padding: 8px;">符号动量(sign-based)</td>
<td style="border: 1px solid #ccc; padding: 8px;">内存高效(仅一个动量缓冲)</td>
<td style="border: 1px solid #ccc; padding: 8px;">粗糙的量化,丢失梯度幅值信息</td>
</tr>
<tr style="background-color: #f8f8f8;">
<td style="border: 1px solid #ccc; padding: 8px;">LAMB</td>
<td style="border: 1px solid #ccc; padding: 8px;">逐层信任比率缩放</td>
<td style="border: 1px solid #ccc; padding: 8px;">大 batch 训练稳定</td>
<td style="border: 1px solid #ccc; padding: 8px;">仍然逐元素操作,不利用矩阵结构</td>
</tr>
<tr>
<td style="border: 1px solid #ccc; padding: 8px;">SOAP</td>
<td style="border: 1px solid #ccc; padding: 8px;">分解 + Adam 风格</td>
<td style="border: 1px solid #ccc; padding: 8px;">利用二阶信息</td>
<td style="border: 1px solid #ccc; padding: 8px;">计算开销大,实现复杂</td>
</tr>
<tr style="background-color: #f8f8f8;">
<td style="border: 1px solid #ccc; padding: 8px;">Muon + AdamW 混合</td>
<td style="border: 1px solid #ccc; padding: 8px;">矩阵参数用 Muon,其余用 AdamW</td>
<td style="border: 1px solid #ccc; padding: 8px;">兼顾两者优势</td>
<td style="border: 1px solid #ccc; padding: 8px;">需要参数分组策略</td>
</tr>
</tbody>
</table>
<h3 style="font-size: 18px; font-weight: bold; margin-bottom: 10px;">2.3 定位一句话</h3>
<p style="margin-bottom: 15px;">不同于 AdamW 将权重矩阵视为独立元素集合逐元素归一化的做法,Muon 通过对梯度动量矩阵做整体正交化(Newton-Schulz 迭代),使更新方向在所有奇异方向上等幅,从而在保持矩阵几何结构的前提下实现更均匀、更高效的学习。</p>
三、Muon优化器的原理讲解
<h3 style="font-size: 18px; font-weight: bold; margin-bottom: 10px;">3.1 直觉类比视角</h3>
<p style="margin-bottom: 15px;">想象你站在一个山谷里(损失函数的低处),想走到更低的地方。Adam 相当于给你每只脚(每个参数)一双不同高度的鞋子——右脚的鞋子让你迈大步,左脚的鞋子让你迈小步。Muon 则不同:它给你一根“登山杖”(正交化的更新方向),让你在所有方向上以均匀的步伐前进,不会因为某个方向坡度陡就走得太猛,也不会因为某个方向坡度缓就走不动。</p>
<h3 style="font-size: 18px; font-weight: bold; margin-bottom: 10px;">3.2 准专业水平视角</h3>
<p style="margin-bottom: 15px;"><strong>Muon 的核心更新公式</strong>:<br>
<svg xmlns="http://www.w3.org/2000/svg" role="img" focusable="false" viewBox="0 -1449.5 28332.7 2399" style="width: 100%; max-width: 100%; height: auto; margin: 10px 0;">
<!-- 简化公式展示,保留核心结构 -->
<g stroke="#000" fill="#000" stroke-width="0.5">
<text x="0" y="0" font-size="12px">W_t = W_{t-1} - η ( NS(μ M_{t-1} + ∇ L_{t-1}) · √max(1, m/n) + λ W_{t-1} )</text>
</g>
</svg>
</p>
<p style="margin-bottom: 15px;">其中:<br>
- W:权重矩阵<br>
- M_t:动量缓冲,M_t = μ M_{t-1} + ∇ L_{t-1}<br>
- NS:Newton-Schulz 正交化,寻找最近的半正交矩阵<br>
- μ:动量系数,通常取0.95<br>
- √max(1, m/n):RMS 缩放因子,补偿正交化后矩阵纵横比对更新幅度的影响<br>
- λ:weight decay 系数</p>
<h3 style="font-size: 18px; font-weight: bold; margin-bottom: 10px;">3.3 专家视角</h3>
<p style="margin-bottom: 15px;"><strong>为什么正交化在理论上有效?</strong><br>
从谱范数约束的角度,Muon 等价于在谱范数约束下的最优化问题。正交化后的更新方向O满足O^T O = I,意味着:<br>
- 更新方向的等幅性:对于任意单位向量v,||Ov|| = ||v||,即所有方向的更新幅度相同<br>
- SVD 熵最大化:正交化使权重矩阵的奇异值分布更均匀,保持更高的 SVD 熵,促进多方向学习<br>
- 计算效率:Newton-Schulz 迭代仅需矩阵乘法,复杂度 O(mn · min(m,n)),5步内收敛</p>
<p style="margin-bottom: 15px;"><strong>Liu等人2025的关键发现</strong>:<br>
- Weight Decay 的关键作用:原始 Muon(无 weight decay)在大规模训练中不稳定,加入 weight decay 后,权重的增长被约束,正交化更有效<br>
- Update RMS 一致性:不同大小的矩阵经正交化后,更新 RMS 差异很大,通过 √max(m,n) 缩放 + 0.2固定系数,使所有层的更新 RMS 保持在0.2~0.4(与 AdamW 对齐)<br>
- Per-Head 正交化:全矩阵正交化会将所有头的更新统一到一个尺度,导致头间不均衡,Per-Head 模式将矩阵按注意力头拆分,独立正交化</p>
<p style="margin-bottom: 15px;"><strong>未解决的理论问题</strong>:<br>
- Newton-Schulz 迭代的收敛边界与模型规模的关系<br>
- Muon 在 SFT(监督微调)阶段的理论保证<br>
- 分布式设置下的最优通信-计算权衡</p>
<h3 style="font-size: 18px; font-weight: bold; margin-bottom: 10px;">3.4 代码核心实现</h3>
<pre style="background-color: #f5f5f5; padding: 10px; border-radius: 5px; overflow-x: auto; margin-bottom: 15px;">
“”"Muon 优化器核心实现。
Muon 通过对梯度动量矩阵做 Newton-Schulz 正交化来计算更新方向,
使更新在所有奇异方向上等幅,从而更高效地训练神经网络的2D权重矩阵。
参考:
- Jordan et al., 2024, “Muon: An optimizer for hidden layers”
- Liu et al., 2025, “Muon is Scalable for LLM Training” (arXiv:2502.16982)
“”"
from optim.newton_schulz import match_update_rms, newton_schulz
Per-Head 正交化的注意力投影层后缀
_PER_HEAD_SUFFIXES = (“q_proj”, “k_proj”, “v_proj”, “q_up”, “k_up”, “v_up”)
def per_head_orthogonalize(matrix: Tensor, num_heads: int, *, steps: int = 5, eps: float = 1e-7) -> Tensor:
“”"Per-Head 正交化:将矩阵按注意力头拆分,独立正交化每个头。
全矩阵正交化会将所有头的更新统一到一个尺度,导致头间不均衡。
Per-Head 模式给每个头独立的归一化,使头间更新尺度一致。
"""
out_dim, in_dim = matrix.shape
assert out_dim % num_heads == 0, f"out_dim {out_dim} 不能被 num_heads {num_heads} 整除"
head_dim = out_dim // num_heads
# 拆分为 per-head 块: (num_heads, head_dim, in_dim)
blocks = matrix.view(num_heads, head_dim, in_dim)
# 对每个头独立正交化(批处理 NS)
ortho_blocks = newton_schulz(blocks, steps=steps, eps=eps)
# 合并回原始形状
return ortho_blocks.view(out_dim, in_dim)
</pre>
四、项目实现对比:与 kimi3-master 的差异
| 维度 | kimi3-master | 我们的实现 | 区别说明 |
|---|---|---|---|
| 文件结构 | 单文件(276行)含 NS + Muon + 参数分组 + build_optimizer | 拆分为 3 文件:newton_schulz.py + muon.py + param_groups.py | 更模块化,NS 可独立测试复用 |
| Newton-Schulz | 内联在 muon.py,batched 用 .mT | 独立文件,显式分 2D 路径(.T)和 batched 路径(.mT) | 逻辑等价,PyTorch 3.7 兼容性更好 |
| _head_count | 硬编码类型检查:isinstance(owner, (KimiDeltaAttention, GatedMLA)) | 鸭子类型:hasattr(owner, "num_heads") | 零耦合,不依赖具体模块导入 |
| muon_param_groups | 接收 optim_cfg dataclass 对象 | 接收 per_head: bool 直接参数 | 更简洁,但缺少 build_optimizer 工厂 |
| embedding 排除 | 仅排除 "embed_tokens" | 额外排除 "embed"(覆盖 pos_embed 等) | 更宽泛的排除规则 |
| build_optimizer | 有,从 optim_cfg 读全部超参构造 Muon | 缺失 | 需手动构造 Muon 实例 |
| RMS 缩放 | 内联 scale = sqrt(max(1, out/in)),无独立函数 | 独立 match_update_rms() 函数,支持 shape/reference_rms 两种模式 | 更灵活,但多了一层抽象 |
| Weight Clipping | 独立 _clip() 静态方法 | 内联到 _muon_step | 逻辑相同,组织不同 |
| Muon.__init__ | 无 update_rms_scaling 参数 | 有 update_rms_scaling 开关 | 可控制是否启用 RMS 缩放 |
| HybridMuonAdamW | 无(Muon 类自身同时处理 Muon+AdamW 组) | 额外提供 HybridMuonAdamW 包装器,含 NaN 检测、事务性 step | 更模块化,但 kimi3-master 不需要 |
| CosineWarmupLR | 无调度器类,仅函数 + 训练循环内 set_lr | 完整 CosineWarmupLR 类,支持双 LR | 更工程化,但 kimi3-master 在训练循环中手动处理 |
| P2P Muon | 完整实现(168行) | 已实现(~220行) | 功能等价,28 项测试通过,详见附录 G |
<p style="margin-bottom: 15px;"><strong>说明</strong>:
<ul style="padding-left: 20px; margin: 10px 0;">
<li style="margin-bottom: 8px;">build_optimizer 工厂:可从 OptimConfig 读取超参自动构造,我们的设计允许更灵活的手动构造</li>
<li style="margin-bottom: 8px;">lr_lambda_for:被 CosineWarmupLR 类替代,内部 dispatch cosine/wsd</li>
<li style="margin-bottom: 8px;">schedules.py(63行)→ 已覆盖,功能在 lr_scheduler.py 中:
<ul style="padding-left: 20px; margin: 5px 0;">
<li style="margin-bottom: 5px;">cosine_with_warmup() → 直接复刻,逻辑一致</li>
<li style="margin-bottom: 5px;">wsd_schedule() → 直接复刻,逻辑一致</li>
<li style="margin-bottom: 5px;">lr_lambda_for() → 被 CosineWarmupLR 类替代(内部 dispatch cosine/wsd)</li>
</ul>
</li>
<li style="margin-bottom: 8px;">muon_p2p.py(168行)→ 已实现(src/optim/muon_p2p.py,~220行):
<ul style="padding-left: 20px; margin: 5px 0;">
<li style="margin-bottom: 5px;">OwnershipMap → round-robin 所有权分配</li>
</ul>
</li>
</ul>
</p>
以上内容不代表本平台立场,仅供读者参考

