EdgeBench揭示大模型环境学习Log-sigmoid规律与速度翻倍

过去几年，预训练Scaling Law让行业形成了一个共识：模型能力会随着数据量与算力的投入，以可预测的方式持续提升。但当大模型真正进入真实应用场景后，一个更贴近落地的核心问题随之浮现：它能否在与环境的持续交互中不断学习、迭代变强？

近期，相关研究团队发布了用于衡量真实世界环境学习能力的超长程评测集EdgeBench。该评测集包含134个真实多样的任务，覆盖六大能力领域，且每个任务都支持智能体持续运行至少12小时。

基于这些任务的长程环境交互运行结果，团队发现，智能体在环境学习过程中的整体表现遵循高精度的log-sigmoid曲线，平均拟合精度R²达到0.998。同时对比不同代际的前沿模型可以看到，智能体的学习速度大致呈现每三个月翻一倍的趋势。

目前，EdgeBench已开源其中51个任务及完整评测框架，供全球社区进一步研究智能体如何从真实世界环境中获取知识并提升能力。

专为真实环境学习打造的评测基准

真实场景中的模型表现，并不只取决于训练阶段学到的固有知识。很多关键技能并不直接存在于训练语料中，实际工作依赖的也不仅仅是现成信息，还包括反复试错、解读反馈、持续修正的动态过程。

与此同时，现实环境始终处于动态变化中，新工具、新问题和新知识不断涌现，静态训练数据永远无法提前覆盖所有场景。因此，智能体从环境中学习、持续提升任务表现的能力，正成为AI落地的核心竞争力之一。

当前绝大多数模型评测集，主要衡量的是模型已有的知识和固化能力。而EdgeBench的核心关注点，是智能体在拥有充足时间、反馈和改进空间的前提下，如何从真实世界环境中逐步学习成长。该评测集在任务设计上具备三大鲜明特点：

• 面向真实环境：每个任务的工作场景、反馈信号和评测规则都贴近实际实践，最终得分直接体现智能体在环境中的学习和改进效果。
• 超长时程设计：每个任务支持至少12小时的连续运行，部分延长实验甚至超过72小时，让智能体能够持续累积经验。根据已记录的人工投入数据，人类专家完成单个任务平均需要57.2小时，最长可达320小时。
• 覆盖多领域场景：134个任务涵盖科学研究、复杂软件工程、白领知识工作、算法优化、前沿数学和数字游戏六大领域，由领域专家结合真实问题持续迭代优化，其中超过90%的任务为全新构建。

环境学习中的可量化规律

在EdgeBench的评测框架中，智能体并非仅提交一次结果就结束，而是会持续与任务环境交互，接收评分、错误提示和改进线索等反馈。因此，评测得到的曲线并非反映智能体一次性完成任务的能力，而是其在持续交互中吸收反馈、调整策略、逐步优化结果的学习过程。

基于134个真实世界任务中累计约38000小时的环境交互记录，研究团队发现，智能体的表现并非静态固定的，而是能够在与环境的持续互动中不断学习、逐步提升。

进一步观察可以发现，不同智能体的环境学习成长轨迹并不统一：部分智能体呈现稳步提升的趋势，有些在前期快速进步后进入平台期，还有一些会在长时间停滞之后迎来关键突破。

以引力波分析任务的一次12小时运行为例，某前沿模型在247次评分尝试中，将任务得分从42.8提升至67.0。这一案例表明，环境学习并非简单的连续参数调优，分数的关键跃升往往来自智能体根据反馈重新定义、拆解并组织任务的核心逻辑。

当把视角从单个任务扩展到跨任务的整体表现时，可以看到这种学习并非无序波动，而是呈现出高度稳定的整体规律。

针对每个模型，研究覆盖了全部134个任务并进行了3次独立运行，因此每个模型会生成402条学习曲线。单条任务轨迹中，智能体的表现往往充满噪声和波动，但当这些轨迹按照交互时间进行聚合平均后，整体收敛为一条形式简洁的高精度log-sigmoid曲线，平均拟合精度达到R²=0.998。这一现象不仅是经验层面的拟合结果，还可以从图探索理论的视角得到合理解释。

此外，研究团队还尝试解答另一个关键问题：模型从环境中学习的速度，是否会随着代际演进而提升？

为了尽量减弱模型先验知识和基础能力差异带来的干扰，团队选取了18个初始表现相近的任务，对2025年9月至2026年5月间陆续发布的多代模型进行2小时评测，并以这段时间内的性能提升幅度作为“学习速度”的衡量标准。结果显示，随着模型代际的演进，其从环境中学习的速度显著加快，对于当时表现最领先的一批模型而言，这一速度接近每三个月翻一倍。

对未来AI发展的启示

随着模型环境学习速度的不断提升，未来不同AI模型之间的差距，将不仅体现在初始的基础能力上，更会体现在进入真实环境后的学习速度上。对反馈的理解能力、经验积累能力以及策略调整能力，将成为智能体在长时程、开放式任务中建立持续竞争优势的核心要素。

研究团队希望EdgeBench能够为相关领域的研究和应用实践提供参考，也期待未来有更多工作关注智能体在开放环境中的学习、适应与改进。同时，团队将继续深入研究那些在真实环境中持续创造价值的AI能力，以及决定未来AI上限的核心要素，不断探索智能的未知边界。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。