OpenRSI Index：万卡算力评测AI科研改进能力
当AI科研智能体尝试自主改进模型训练方案，前沿研究者们开始思考：我们的工作边界正在被如何重塑？
这款名为OpenRSI Index的评测框架近期在主流科技社区引发广泛讨论，相关讨论帖的浏览量突破13万次，相关话题登上了社区热门资讯栏目。
当前大语言模型在不少传统评测基准上的性能提升逐渐趋近瓶颈，前沿AI研究者开始直面一个核心疑问：榜单上的分数增长，究竟能在多大程度上转化为真实科研场景中的实质性进展？
需要明确的是，单纯在评测榜单上刷取高分并不等同于完成了有效的科研工作，而仅仅跑通单个任务，更不能代表具备持续推动研究迭代的能力。
从大规模数据预训练到基于人类反馈的强化学习，大模型的迭代演进始终离不开高质量的反馈信号。当研究进入递归自我改进（RSI）的阶段时，一个关键的瓶颈问题也随之浮现：当一个AI模型尝试改进其他模型，甚至自主改进自身时，谁来为它定义真实有效的环境反馈标准？
OpenRSI Index正是为解决这个问题而生，其核心目标是验证：科研智能体能否在清晰的实验边界约束下，改进人类设计的模型训练方案，探索出性能更优的研究方法？
该评测框架选取真实世界中具有影响力的开源研究项目作为测试场景，将已有的模型、代码、数据与训练方案交由智能体处理，让其在现有成果的基础上进行自主改进。其中Marin、Qwen、GPIC等项目成为了首批测试任务，覆盖了预训练、后训练与图像生成三个核心研究方向。
这些任务需要真实运行模型训练实验，因此算力投入规模达到了数千至上万H100·小时的级别。官方展示的三个典型任务分别为：
-
预训练方向：改进Marin的优化器方案。基于Marin-Scaling-Ladder开源基础模型研发项目，要求智能体将同一套优化器规则应用在6档不同规模的模型上，参数覆盖5.5亿至25.45亿区间，验证该优化方法能否在模型尺寸变化后依然保持有效性，单次运行的算力消耗标注为18432 H100·小时。
-
后训练方向：为Qwen设计更高效的强化学习任务。针对Qwen-122B-RL-Merge项目，智能体需要生成可验证的训练任务，以改善Qwen模型在数学、代码等多个领域的性能表现，单次运行算力约为20864 H100·小时。
-
视觉生成方向：从GPIC数据集中学到更优的生成方法。智能体从共享的模型检查点出发，探索模型架构、训练目标或训练方案的改进方向，每个候选方案最多可基于千万级图像数据集再训练一轮，单次运行算力为5815 H100·小时。
这三个任务分别对应了三个核心验证问题：优化方法能否在不同模型尺度下保持有效性？智能体能否根据反馈结果自主组织实验流程？单次改进的效果能否被清晰地归因验证？
如果仅从算力投入的数字来看，OpenRSI Index很容易被误解为“只是将传统评测基准的算力成本进一步拉高”，但该项目真正希望改变的，并不只是评测所需的算力规模，而是评测流程中所保留的真实科研场景复杂度。
为了获得稳定且可对比的评测结果，传统评测基准往往会固定实验环境、缩小任务范围，将复杂的科研问题压缩为边界清晰、答案明确的标准化测试题目。这类设计固然有其应用价值，但却与真实科研场景中的试错过程、尺度变化、有限预算约束以及失败实验的可能性越来越脱节。
这些算力都真实消耗在实际的模型训练与实验流程中。以GPIC文生图任务为例，公开的实验记录显示，智能体通过反复调整训练方案，并结合生成图像的评测结果持续优化自身的改进方向。实验数据显示，智能体通过多轮迭代调整，不断优化生成图像与参考图像的特征分布匹配度，相关指标呈现出持续下降的趋势，直观展现了智能体的改进效果。
除了上述典型任务外，OpenRSI Index还覆盖了多个新兴开源研究方向。例如针对Open-Jev对应的Kev决策架构任务，智能体需要改进直接输出决策概率的小型模型，探索更高效的决策结构与训练方法。目前公开的任务还涵盖了机器人、信息检索、逻辑推理与底层系统优化等多个领域。
所有这些测试任务，最终都指向同一个核心问题：科研智能体能否真正改进人类设计的训练方案，探索出性能更优的研究方法？
独立验收机制：破解科研场景的信任难题
从事过严谨科研实验的研究者大多都有过类似的顾虑：单次测试分数的提升并非研究的终点。你可能会怀疑，这次分数上涨是否只是因为调参过程暗合了测试集的分布特征？是否只是巧合放大了微小的扰动？如果重新开展验收实验，这次改进效果还能否稳定复现？
-
是否因为调参暗合了测试集的分布？
-
是否巧合放大了微小的扰动？
-
如果重新验收，这次改动还能否复现？
数据污染、测试集关联性与实验不可复现性，是评估AI模型自我改进能力时无法绕开的核心问题。因此OpenRSI Index确立了一个关键原则：AI的实验工作区与最终验收环境必须相互隔离。
在OpenRSI Index的评测流程中，每一项任务都有清晰的资源与代码边界：哪些模块允许被修改、可以调用的算力资源上限、最终验收的标准环境都有明确的规定。
原作者发布的基准方案会在同一任务环境中重新运行，作为对照参考。当智能体提交改进方案时，系统会暂停当前工作区并保存快照，随后交由全新启动的干净评测环境进行打分。私有测试数据不会交给执行研究的AI，评测环境中的文件变更也不会带回工作区，但最终的评分与规定的反馈信息会返回给智能体。如果出现篡改奖励路径、泄露评测信息、超出预算等违规行为，将按照规则判定为零分。
这套评测机制实际上包含了两个循环流程：内循环是研究循环，智能体在持续存在的工作区中修改代码、运行实验，并根据反馈结果持续推进研究；外循环是验证循环，每次正式提交的改进方案都会被冻结为快照，随后交由独立的Judge环境重新验收。
在这套运行机制下，OpenRSI Index并不要求智能体一次性给出完美的答案，而是允许其反复试错。但每一次声称取得的进步，都必须满足一个核心条件：不仅要在自身的实验记录中表现更优，还要在一个自身无法控制的独立环境中依然保持有效的改进效果。
明确的约束规则与独立的验收流程，为评测结果提供了可检查的基础。尽管一次有效提交的实际意义仍然取决于具体任务、预算投入与评价标准，但方法的可验证性与结果的可追溯性，让研究人员终于有了更具体的依据来回答：我所引用的研究工作，本身是否真正可信？
顶尖学术顾问团队
OpenRSI Index的顾问阵容汇集了来自多个研究方向的顶尖学者。其中包括华盛顿大学的Luke Zettlemoyer，他是RoBERTa、BART与Toolformer的共同作者，研究方向覆盖语言模型预训练与模型自主使用工具的能力；普林斯顿大学的Karthik Narasimhan，他是初代GPT论文的核心作者之一，同时也是ReAct、SWE-bench与SWE-agent的共同作者，研究横跨大模型、智能体方法与真实软件工程评测；斯坦福大学的Yejin Choi，其代表作包括常识推理基准HellaSwag、常识知识库ATOMIC与知识生成模型COMET，长期探索模型的常识理解与推理能力；加州大学伯克利分校的Dawn Song，她是MMLU、MATH等经典评测基准的共同作者，还参与了Agents’ Last Exam（ALE）、CyberGym与ExploitGym等项目，将评测延伸到真实职业任务、漏洞复现与漏洞利用等复杂场景。
此外，顾问阵容还包括Wenhu Chen、Alvin Cheung、Jianfeng Gao等多位学者，覆盖自然语言处理、多模态学习、系统优化与网络安全等多个研究领域。
开放共建：让社区共同推动AI科研的进步
项目团队坚信，AI科研是一场正和博弈。通过开放共享研究方法、工具与实验基础设施，更多的科研工作者能够检验、复用彼此的研究成果，并提出更具深度与价值的研究问题。
基于这一理念，OpenRSI Index将所有测试任务、评测框架、验证工具与实验运行轨迹全部公开：
-
拥有充足算力资源的研究团队，可以直接复用这套基准环境，验证已有研究结果，并在此基础上探索新的研究问题。
-
缺乏大型算力集群的小团队与个人研究者，可以通过公开的实验记录，了解AI智能体的改进方向、失败案例与未探索的研究路径，将已有记录作为自身后续尝试的起点。
单次的失败并不足以证明一个研究方向无法落地，但完整的实验记录能够帮助后来者判断哪些条件值得调整、哪些尝试值得继续推进，让研究品味引导试错过程，真正提升AI自主开展科研的能力。
低门槛任务贡献：让研究者快速将研究转化为测试场景
那么下一个核心问题就是：谁来决定科研智能体应该研究哪些方向？
OpenRSI Index给出的答案是：让真正开展相关研究的人来出题。通过RSI-Anything工具，研究者可以将自己的开源研究工作逐步整理为智能体可执行的研究任务。根据项目介绍，研究者只需通过RSI-Anything与AI进行对话、确认关键设置，即可在约一小时内将自身的研究课题转化为可运行的RSI任务环境。AI会自动整理研究提案、构建实验环境，帮助科研工作者为OpenRSI Index贡献新的测试任务。后续的实验运行与结果复现仍需要相应的时间与算力支持；当任务经过审阅、复现并被正式接纳后，贡献者还会受邀成为该任务的共同作者。
目前社区也正在寻找算力合作伙伴，以及基础模型、生物医药、法律、3D视觉、科学计算等多个领域的负责人与贡献者。项目团队希望让更多研究者将真实的科研问题带入评测框架，让研究的成功、失败与中间过程都能够被检查、复用与继续推进——让RSI技术属于整个社区，让所有参与者共同参与AI科研评测标准的建设，这正是OpenRSI Index团队所倡导的“From the community, for the community”理念。
你可以通过以下渠道了解更多OpenRSI Index的相关信息：
