KT-FT：MoE大模型微调提速2.5-21.2倍，突破显存瓶颈
随着超大模型开源迭代，性能实现大幅跃升，然而模型规模扩大后，多数研究者与开发者难以在资源受限场景下完成微调，无法充分探索前沿模型特性，也难以将其适配到自身业务任务中。此前为降低GPU显存需求，行业内多采用CPU与GPU搭配的卸载方案：用容量更大的CPU内存存储专家权重，再通过PCIe总线将权重传输到GPU进行计算。该方案虽解决了大模型的存储问题，但微调速度缓慢，效率难以满足实际使用需求。
当显存不足以容纳模型时，卸载方案通过“内存换显存”降低微调门槛，但模型能加载和微调仅代表容量达标，若大部分时间用于等待权重传输，微调仍无法高效运行。传统卸载范式中，专家的前向与反向运算在GPU完成，CPU仅作为大容量存储库保存权重、梯度和优化器状态，虽保留了GPU的计算优势，却需反复通过PCIe传输权重。在密集模型场景下，该方案依赖GPU计算时间覆盖传输与同步开销，但在当前主流MoE模型的稀疏负载下，这一前提不再成立：MoE会将token分配给不同专家，多数专家仅收到少量token，计算耗时极短，所需的专家权重却需全部传到GPU，导致传输开销占比极高。
实测显示，ZeRO-Offload的通信与任务同步占单步时间的94%，APTMoE采用专家级流水调度后，权重传输与同步仍占执行时间的86%。预取和流水调度可调整传输时机，但无法消除权重传输需求，且在低算术强度下，计算本身也不足以掩盖传输时间。以每单位10亿个BF16参数为例，前向与反向共需传输4GB数据，即使PCIe 5.0×16达到理论峰值带宽64GB/s，传输仍需62.5ms，而GPU完成对应计算仅需2.8ms，传输耗时超过计算的22倍。可见，卸载范式依赖的“用计算掩盖搬运”逻辑已失效，仅搬运专家权重的耗时就超过CPU完成专家计算的时间。
针对这一问题，由清华大学MADSys实验室、趋境科技主导的研究团队提出KT-FT方案，联合开源项目LlamaFactory团队打造易用的开源生态。KT-FT采用CPU-GPU协同计算范式，将CPU从单纯的“存储库”转为参与专家计算，直接利用其计算能力完成MoE部分的计算，GPU则继续负责计算密集的注意力模块，同时通过设计解决布局冲突和线程调度的问题，进一步提升效率。
仅靠协同计算范式仍不足以实现高效微调，研究团队进一步设计了两项关键优化：一是语义感知主动布局引擎，在分配内存时就按张量用途和执行阶段选择合适布局，利用跨层执行顺序让后台线程提前原地完成布局转换，并与GPU计算重叠，既保留最优计算布局，又将转换开销移出关键路径，且仅需保留一份参数副本；二是动态线程调度器，将各专家的工作拆分为细粒度任务，放入共享队列，通过工作窃取在CPU线程间分配，减少派发停顿与同步等待。这些设计让KT-FT的协同计算范式吞吐达到传统卸载范式的2.5倍以上。
在DeepSeek-V3.1-671B、Qwen3.5-397B和Qwen3-235B-2507三款数千亿参数MoE模型上的测试显示，KT-FT的标准LoRA微调吞吐达到传统卸载基线的2.5～21.2倍，短序列时优势更明显；随着序列增长，传输对应的计算量增加，卸载方案的相对差距缩小。对比采用相同CPU-GPU分工的PyTorch实现，KT-FT的性能提升显著，可见布局引擎和线程调度器是实现端到端吞吐收益的关键。
KT-FT还提出系统算法协同设计，新增LoRA Expert（LE）作为可选设计，在每个MoE层增加一条常驻GPU的共享适配路径，适配协同计算范式。该设计一方面解决微调中的更新不均问题：下游数据分布变化时，路由可能集中到少数热门专家，LE的共享分支由所有token共同训练，即使token被分配给冷门专家，也能利用共享路径的适配信息；另一方面，LE的接入位置和计算方式不依赖具体LoRA更新规则，可与不同LoRA算法组合使用，帮助更快达到目标质量。
目前KT-FT已作为执行后端接入LlamaFactory，开发者可沿用熟悉的微调流程，通过官方指南完成硬件配置和微调。该方案让已有的CPU-GPU资源支持更大规模的模型适配，其核心应用场景包括三类：
企业适配：企业私有数据需留在本地，但显存和微调成本限制模型规模，借助KT-FT，某企业将下游适配模型从30B扩展到397B，用8张RTX 4090完成LoRA微调，相比16张A100的基线框架，平均端到端耗时从22.4小时缩短至14.3小时，单次迭代计算成本降低81.5%。
模型研发：前沿模型规模越大，验证新想法所需资源和时间越多，某机构研究员通过KT-FT在RTX 4090上，以65K token上下文对约700B MoE模型进行LoRA微调，充分利用闲置开发机迭代新算法。
实验室研究：高校研究团队常缺少高显存GPU，难以开展前沿大模型研究，KT-FT让团队利用有限本地GPU直接开展超大模型实验，如在RTX 4090上微调Qwen3.5-397B等模型，研究记忆机制、生成多样性等问题。
