文章摘要
近期针对大模型强化学习训练显存占用过高痛点推出的LoGRA技术，改进了常规LoRA方案，通过反向传播累积低秩梯度、引入动态调节训练步长模块优化，实测最高可降低45.7%训练显存，能在单机8卡配置下跑通27B大模型RL训练，该项目已基于Molt框架开放源代码。

近期推出的LoGRA技术，针对性解决了大模型强化学习（RL）训练过程中显存占用过高的行业痛点。

不同于常规LoRA冻结主模型仅训练低秩分支的思路，LoGRA在反向传播环节直接累积低秩梯度，无需存储完整的梯度矩阵；每一轮训练都会更换一组随机投影矩阵，更新内容会直接写回原模型，不受固定低秩子空间的限制。同时该方法还引入了predicted KL估计模块，能够提前预判当前训练步对模型策略的调整幅度，据此动态调节训练步长，避免出现更新幅度过猛的问题。

实测数据显示，LoGRA能够将训练显存占用最高降低45.7%；在单机8卡的配置下，可以稳定跑通27B规模大模型的RL训练，训练步数超过1100步，而相同硬件条件下使用标准Adam优化器会直接出现显存溢出（OOM）的问题。

该项目基于Molt开源框架开发，目前已开放相关代码，感兴趣的开发者可以直接体验。

相关论文链接：https://arxiv.org/abs/2610.06647

开源代码地址：https://github.com/skzhang1/labs-molt/tree/logra/examples/scripts/logra

以上内容不代表本平台立场，仅供读者参考