清华团队推出八卦炉2 自适应化解大模型训练显存尖峰已开源

随着大模型训练规模向万卡集群、万亿参数级迈进，显存资源的瓶颈问题日益凸显。尤其是MoE架构的普及，虽然推动了模型参数规模的突破，但也带来了显存尖峰的致命隐患——当某个微批次的token集中涌向少数专家时，激活显存会瞬间飙升，导致单卡OOM，整个分布式训练任务中断，此前的数百步训练成果付诸东流。

传统的缓解手段如重计算、激活卸载都依赖静态配置，存在明显的两难困境：激进配置在平稳阶段能维持较高的计算利用率，但遇到显存尖峰必然崩溃，一次冷重启就需要284秒；而保守的全层重计算配置虽能避免OOM，却会将计算利用率降至24.6%，算力长期闲置。

针对这一痛点，清华大学翟季冬教授团队提出了运行时自适应的显存管理方案——八卦炉2（BaGuaLu-2），相关论文已被SC26会议录用。这套方案无需修改任何配置，也不需要终止任务，而是在MoE门控计算完成后、专家计算开始前的关键窗口，根据当前真实的负载状况实时决策，让不同算子选择保存、重计算或卸载策略，将显存峰值严格控制在设备上限以内。

在万卡智算中心的实测中，团队验证了从128张海光DCU到12288张，模型参数从188B到1.04万亿的全规模性能。相比现有主流方案，平均吞吐提升了1.14倍（已计入OOM重启损失）；在12288卡规模下，总吞吐达到2.012 EFLOPS，平均计算利用率（MFU）为32.9%，最高可达35%。

核心设计思路

这套方案的核心设计分为三个层面：首先是可扩展的激活显存成本模型，将保存、重计算、卸载操作统一纳入成本估算，同时考量显存收益和时间开销，多模型多配置下预测误差仅1.56%；其次是算子级的自适应供给策略，决策点精准落在MoE计算的关键窗口，针对不同算子选择最小预算的策略组合，排除冗余操作；最后是双批次融合的动态规划调度，利用流水线空隙交错执行额外计算，将决策开销控制在10毫秒以内，几乎不影响整体吞吐效率。

性能验证与消融实验

通过消融实验验证，方案的各模块均有明确收益：细粒度激活策略带来1.16倍提升，动态管理再增加到1.22倍，重叠调度最终实现1.38倍的整体性能增益。

开源与使用说明

目前，八卦炉2的核心代码已开源，包含激活显存分析模型、调度器集成的激活卸载与回载等模块。项目提供了适配样例和中立评测基准，支持零配置使用，方便集成到现有训练流水线，欢迎开发者提交Issue和PR参与共建。代码仓库地址为：GitHub - thu-pacman/BaGuaLu

研发团队

八卦炉2由清华大学翟季冬教授团队主导，联合清程极智、北京科技大学及独立研究者共同研发，团队致力于大模型训练和推理系统的开源共建，旗下还有赤兔推理引擎等项目，相关评测技术也已应用于智算中心的能耗控制领域。

完整论文可查阅：https://arxiv.org/abs/2610.23064