开源模型+Harness试错逼近顶级闭源AI
开源AI基础设施厂商Prime Intellect的最新研究带来了AI自主研发的新突破：通过多智能体编排框架，将监控与落地环节交给成本更低的开源模型，不仅让“AI开发AI”的成本大幅降低，甚至能实现超越部分顶级闭源模型的效果。
本次实验选取了18款前沿大模型，包括Fable 5、Opus 5、GPT-5.6 Sol、Kimi K3等，参与nanoGPT训练任务的速通挑战。
实验的核心目标是在1.24亿参数的GPT模型训练中，用尽可能少的训练步数将验证集损失降至3.28以下。所有参赛模型从统一的基线起步：基线步数为3290步，而目前人类公开的最优纪录为2600步，两者之间共有690步的优化空间。
每个智能体都会获得一份带有基础超参数的训练脚本，仅收到“当前方案仍有优化空间”的提示，没有任何额外指引——无论是调整预条件方法、限制权重更新幅度、优化学习率调度，还是在训练后期加入权重平均，都需要智能体自主探索。
实验全程运行在8张H200显卡的隔离沙箱环境中，全程断网防止模型直接复用外部现成方案，从代码修改、训练启动、损失对比到实验规划，全部由智能体独立完成。
最终团队累计完成153次全自主实验，单次实验最长持续超过8天。其中表现最突出的Fable 5将训练步数压缩至2726步，完成了82%的优化空间，距离人类最优纪录仅相差126步。
开源模型Kimi K3搭配Prime Agent Harness后跑出了2930步的成绩，超过了GPT-5.6 Sol的3042步，仅比Opus 5的2920步慢10步，逼近了闭源旗舰模型的第一梯队水平。
团队首先得出了一个出乎预料的结论：所有实验中没有诞生真正全新的算法思路，最终有效的优化手段，比如归一化、学习率调整、权重平均等，都能在过往研究中找到对应思路。但这也引出了另一个更关键的发现：真正拉开模型表现差距的，并非想到了什么创新点子，而是如何高效地验证和落地这些点子。
不同模型的试错策略差异巨大：表现较弱的模型往往在一次随机种子效果不佳后就放弃尝试，而顶级模型则会更换种子、重新消融实验参数，甚至在优化方案调整后重新测试旧思路。比如Opus 5通过调整β2参数刷新了纪录，Fable 5则通过重新测试旧方案节省了31步。
部分模型还会主动验证小幅度提升是否来自真实改进还是随机波动，甚至注意到同一种子在不同GPU运行时损失会出现非确定性变化，进而调整实验流程。Kimi K3甚至能够自主编写实验函数、对比损失曲线、恢复基线配置，甚至搭建小型数值实验室验证算法思路后再应用到真实训练中。
这一结果说明，在这类AI研究任务中，创意本身并没有想象中稀缺，真正决定科研效率的是试错吞吐量——能否快速尝试多个方向、快速排除无效假设、捕捉微弱的改进信号并逐步叠加优化。
这也正是Prime Intellect将研发重点转向Multi-Agent Harness的核心原因：既然大量研发工作集中在代码编写、实验运行、结果验证等环节，就不必每次都调用成本最高的顶级闭源模型，可以让更便宜的开源模型负责执行和监控，将关键判断环节交给更强的模型，从而在相同预算下完成更多实验，同时加快单轮实验的速度。
这一思路打破了过往经典的“AI自我迭代”剧本：过去大家普遍认为，最强的闭源模型会率先跨过AI自主研发的临界点，通过自我迭代实现赢家通吃。但本次研究展示了另一种可能性：即便模型本身并非最强，只要配套的科研基础设施足够高效，开源模型也能通过更高的试错吞吐量实现赶超。
相关行业观点曾指出，对于AI研发来说，创意本身往往并不稀缺，真正拉开差距的是基础设施的迭代速度——谁能更快、更稳定地验证想法、修复bug、运行实验，谁就能占据优势。在AI4AI的场景中，这一道理同样成立：不必每次都让最昂贵的顶级模型亲自参与每一个环节，而是通过低成本的开源模型搭配高效的编排框架，以更低的成本实现更快的实验循环。
在Kimi K3的测试中，Prime Agent Harness提供了持久运行的IPython内核，让模型能够围绕研究任务自主搭建和迭代工作流，甚至主动推翻原有假设提升效率。这一细节看似不起眼，却在AI自主研发的场景中至关重要：如果模型的能力短期内没有出现跳跃式提升，那么最容易实现突破的方向就是优化外围的科研基础设施，包括延长工作时长、优化实验工具、降低执行成本、构建多智能体系统来并行探索多个假设。
最终，我们得到的未必是突然实现“智力爆炸”的超级模型，而是一台越来越便宜、越来越快、不知疲倦的AI科研机器。Prime Intellect表示，团队下一步将把Speedrun扩展到训练栈的更多环节，同时扩大实验规模，而Multi-Agent Harness真正想要加速的，并非仅仅是nanoGPT的训练，而是整个AI研发的迭代速度。
决定AI自主研发速度的，未必只有模型本身的智能程度，支撑其不断试错的科研基础设施，同样发挥着关键作用。
