文章摘要
某研究团队首次将原多用于后训练的递归自我改进(RSI)闭环技术完整应用于前沿预训练,通过拆解为多类小型可控闭环提升训练效率,训练出的30B参数801基座模型性能优于同量级竞品,智能体任务评测表现突出,该项目已开源。

某研究团队的最新成果显示,RSI式闭环技术首次被完整应用于前沿预训练项目,成功训练出的模型801-30B-A3B在性能上优于Qwen3-30B-A3B和Nemotron-3.5-Lightning-30B-A3B。

(相关研究成果示意图)

递归自我改进(RSI)技术终于从后训练阶段迈入前沿预训练领域,实现了关键突破——将原本无法整体闭环的大规模训练流程,拆解为多个可持续反馈的小型闭环,让训练过程更具可控性和迭代效率。

该项目已开源

(项目开源相关图)

这次,RSI改进的不是一个模型

过去的RSI技术多应用于后训练环节,通常是基于现成的基座模型,通过数小时的实验获取可验证的分数,再反复迭代优化。而前沿预训练的规则完全不同:

  • 一次完整训练耗费数十万GPU小时,通常没有第二次试错机会;
  • 目标是为后续的后训练阶段预留潜力,而非单纯追求当前榜单的短期分数。
(后训练与前沿预训练的RSI差异对比图)

801模型从零开始训练,在三个月内处理了11.8万亿tokens的数据,最终得到总参数30B、每token激活3B的MoE基座模型。更关键的是,持续进化的对象并非模型权重本身,而是由智能体、研究人员、数据管线和训练设施组成的整个生产系统。

核心方案:三类闭环,六个实例

(三类六条RSI闭环示意图)

第一类是调试闭环,涵盖基础设施调试与数据调试环节,可将异常问题追踪到可低成本复现的组件;第二类是潜力闭环,通过Tiny-SFT、学习能力评估和多协议评测判断基座模型的后训练潜力,进而调整训练配方;第三类是经验到指标闭环,将分类器开发、站点发现、爬虫覆盖等依赖经验的环节转化为可量化的迭代步骤。

六条闭环共享一套上下文基础设施,失败原因会被统一保存,避免后续重复踩坑,递归优化由此发生在组织记忆层面。

(五项跨栈诊断与修复示意图)

无法重跑训练,就先重跑诊断

基础设施闭环从loss、梯度和专家负载等内部信号出发,数据闭环则反向追踪凭证泄漏、模板乱跳、低多样性重复等异常输出。智能体负责大规模搜索,覆盖超过130个基础设施代码版本、106个超参数字段、1053个数据子集,人类仍掌握排查优先级与修复批准权。

(基座停滞与SFT后持续提升对比图)

团队约用一个月完成五项跨栈诊断,覆盖负载均衡、优化器、数据质量、权重衰减和数据加载。在相同1万亿tokens预算下,22项基准测试的平均分从47.78提升至51.96,再到56.83。不过由于数据与训练配方同时变化,无法将性能提升归功于单一修复措施。

预训练数据:智能体自动生产

这项研究还有一个直观的自我改进路径:人工智能不仅消耗训练数据,还能自主生成训练数据。

(数据分类器的迭代开发闭环图)

团队将26万个原始PR转化为22万个可执行任务,在九种智能体框架上生成约200万条轨迹,验证后保留110万条、超过100B tokens的数据,每条平均约91K tokens;加入其他来源数据后,智能体数据总量达到134B tokens,并进入长上下文预训练阶段。

规模化的关键不是生成更多文本,而是生成可执行、可验证的轨迹,同时需保证环境、指令与测试的一致性,防止模型篡改测试或读取参考补丁。

(智能体数据生产漏斗图)

成绩亮眼,但还不是无人值守进化

在基座模型评测中,801的13项测试平均分为73.13,位列第二,仅次于更大规模的Qwen3.5-35B-A3B,高于Qwen3-30B-A3B的66.16。经过相同轻量SFT后,经典通用基准测试的平均分仍排第二。

(基座模型评测结果表)

更引人注目的是智能体任务评测:四项测试平均分为58.43,在对比模型中最高,KernelBench达到77.60。

(智能体基准评测结果表)

但需注意:801仅进行了6.33B tokens的轻量SFT,未使用RL技术,对手多是经过完整后训练的模型,并非同条件对决。结果来自单个项目,Tiny-SFT也没有多种子重复实验,相邻检查点的小差距需谨慎解读。

RSI技术首次以工程化、组织化的小闭环进入完整前沿预训练,而非让AI脱离人类实现无限自我升级。

模型是副产品,方法论才是主角。共享上下文保存经验,小闭环修复环节,可验证反馈推动下一轮更新——这可能才是RSI走向大模型生产线的真实起点。

No Second Run: Does RSI Stop at Frontier Pre-training?
arXiv:2611.10719v1
以上内容不代表本平台立场,仅供读者参考