强化学习之父：大模型正撞上无法持续学习的成长墙

当大模型的训练数据堆到极限，当上线后的模型再也无法吸收新的经验，AI领域的先驱者已经开始敲响警钟。强化学习之父Rich Sutton在最新访谈中直指当前主流大模型路线的核心困境——这条曾验证了规模化学习逻辑的技术路径，正在撞上难以突破的“成长墙”。

作为强化学习领域的标志性学者，Sutton的《苦涩的教训》至今仍是理解AI发展的重要框架，其核心观点是：长期来看，能够随着计算规模扩展的通用方法，往往会战胜依赖大量人工知识设计的方案。过去AlphaGo、深度学习乃至大语言模型的成功，都印证了这一结论。但Sutton最新的批评却指向了大模型本身：LLM固然是伟大的科学突破，却可能成为《苦涩的教训》的反面案例。

一方面，当前的大模型虽然摆脱了大量人工规则，却重新被“人类已经知道的东西”限制住了。互联网数据终究有限，即使是合成数据，背后依然需要人类来决定什么值得生成、什么问题重要、如何定义奖励，本质上还是跳不出人类知识的边界。更关键的是，模型仍然不具备人类那样的持续学习能力。

一个司机开了10年车，会从经验里形成大量直觉，而今天的大模型，大部分学习都集中在预训练和后训练阶段。模型上线后，即使每天和几百万人交互，核心权重依然基本被冻结。它可以通过上下文临时获得新信息，也可以通过记忆记住用户偏好，但这和真正的学习还差得很远——真正的学习意味着经历一件事情之后，系统本身发生变化，就像医生做了上千台手术后，判断方式会彻底改变。现在的大模型更像一个刚毕业就被冻结的大脑，工作多少年都只能靠翻“毕业笔记”。

在Sutton看来，今天的大模型行业可能已经陷入“局部最优”：继续堆GPU、做规模化，性能还能上涨，所以头部实验室越来越难转向一条短期表现可能更差的新路线。这也是他和学生Khurram Javed创办Oak Lab的出发点。

一、无法持续学习：大模型的核心缺陷

Sutton对大模型的态度其实充满矛盾。他并不否认LLM的成功，甚至认为大型语言模型是“惊人的科学突破”。语言曾被认为是符号主义AI最后的堡垒，而神经网络靠规模化训练，硬生生学会了极其复杂的语言能力，完美契合了《苦涩的教训》的核心逻辑：少往机器里手工塞人类规则，多寻找能够随着计算规模一起扩展的学习方法。

但大模型同时也暴露了这条路线的局限：它只能学习人类已经记录下来的知识，而现实世界本身远比互联网复杂，真实世界包含的信息量，远远超过人类至今存储在互联网上的一切。只靠训练前把数据准备得越来越充分，总有一天会撞墙。

更关键的问题在于，今天的大模型学习和工作被人为切成了两个阶段：训练时疯狂学习，上线后权重基本冻结。Sutton对此提出了最核心的质疑：为什么模型形成新概念、修改内部结构的能力，只能发生在训练阶段？既然训练时改变权重能够产生智能，模型上线以后为什么不能继续干这件事？

二、合成数据救不了规模化困境

既然互联网高质量数据有限，一个最热门的解决方案就是合成数据。理论上只要算力足够，数据似乎就可以无限生成，但Sutton直接给出了不客气的评价：这是一个“大错误”，甚至可能成为下一条“苦涩的教训”。

合成数据看起来摆脱了真实数据的限制，背后依然藏着一个人类瓶颈——谁决定什么数据值得生成？谁判断什么问题重要？谁定义奖励？最后绕一圈，还是人。只要合成数据仍然需要人类决定内容，这条路线的扩展速度就依然受到人类知识的限制。

Sutton背后的“大世界假说”指出：现实世界太大了，大到任何一个智能体都不可能提前掌握一切。一架无人机真正飞起来，会遇到风、摩擦、马达误差、障碍物，以及无数模拟器里没有出现过的细节，这些不可能在模型上线前全部写进训练集。因此，一个智能体面对的世界，永远比智能体自身复杂，既然不可能提前学完，唯一可行的方法就是边走边学。

这其实把当前AI行业的核心假设翻了过来：过去大家一直试图在模型上线前把它训练得越来越接近“全知”，而Sutton想做的AI，不需要“出生时就什么都会”，只需要出生之后还能继续进化。

三、最难的关卡：学会新东西却不忘记旧知识

既然持续学习这么符合直觉，为什么主流厂商不直接让模型每天更新权重？因为真这么干，模型很快就可能被“学废”。这也是持续学习领域研究了多年仍未彻底解决的问题：灾难性遗忘。假设你告诉模型“我们公司的内部项目X，以后统一叫Apollo”，模型马上根据这一条数据更新权重，看起来很好，但神经网络里的知识并不是一行行独立存在的，一个权重变化可能同时影响很多过去已经学好的能力，结果很可能是记住了Apollo，但其他东西被搞坏了。

这也是为什么今天很多模型更愿意把新信息塞进上下文、RAG或者记忆，而不轻易修改底层权重。一些产品比如Cursor已经做了一些持续更新，但方式仍然是先收集成千上万甚至数百万用户的数据，攒成一个巨大的批次再统一训练一次，这对于公共模型有用，但到了真正的个人智能体就会很别扭：如果只想教自己的AI助手一个新习惯，为什么要等十万个人的数据一起训练？而且我希望它学到的东西，可能和另外十万个人根本没关系。

因此Oak真正想啃的，是一个非常底层的算法问题：让一个模型可以用连续进入的单条经验更新自己，同时不破坏过去的知识。

Sutton给出的一个方向叫做Step-size Optimization，简单来说就是不同知识的“可塑性”不应该一样：模型里有些东西已经被验证了无数遍，应该非常稳定；有些东西刚刚学到，应该更容易修改。每个权重都可以拥有不同的学习速度，这很像人的大脑：一个成年人不会因为今天看到一只绿色的猫，就把过去几十年对“猫”的认知全部推翻，但如果连续几年发现某个过去一直成立的规律已经变化，大脑又能够慢慢调整。

另一个更有意思的方法是Continual Backprop：传统神经网络在初始化时会随机生成大量神经元权重，一开始存在很多随机性和多样性，随着训练越来越久，这些随机空间逐渐被利用完，模型的内部结构也越来越固化。Sutton想做的是，怎么让一个训练了10年、20年的神经网络，依然像年轻大脑一样拥有可塑性。他们认为，未来训练基础模型的时候，就应该把这种能力直接训练进去：模型从第一天开始，同时学习两件事情，一件是知识，另一件是以后应该怎么学习知识，也就是元学习。真正的持续学习模型，可能需要从底层重新训练。

四、Oak Lab赌的是大模型之后的下一种AI

如果Oak只是解决“模型记忆”，这家公司其实没有那么值得关注。真正野心大的地方，是Sutton想把持续学习和另一个能力连起来：自主形成抽象。今天的AI已经很会做数学、下棋，但这些任务的“世界规则”都是人类提前告诉AI的，而现实世界不是围棋。

在开放环境里，智能体首先得知道什么值得预测，哪些变量应该被当作一个整体，哪些规律只在局部场景中成立。顶尖运动员会为极其细微的动作建立自己的概念体系，人类科学家则会在既有知识边界上提出新的抽象，再用它们解释和规划未知现象。Sutton认为，当前AI最缺失的能力之一，就是“先学到一个世界模型，再用这个模型进行规划”。

Oak Lab的终极目标，是打造一个从微小感知到宏大计划、都能用统一方式组织知识的AI系统。它要能够持续训练却不失控，能够修正自己却不滑向混乱，能够吸收新经验又让长期知识保持连贯。换句话说，他们想要的不是一个更会回答问题的模型，而是一个能长期保持自洽、并不断变得更好的心智。

这条路显然不轻松，它要求算法跨过灾难性遗忘、抽象形成、世界建模和规划等一系列尚未解决的问题，也意味着研究团队需要容忍一段时间内性能不如现有产品的可能性。对已经被规模化收入和既有路线绑定的大公司来说，这种“先退一步、再换范式”的选择并不容易。

但这也许正是Sutton想提醒行业的地方：大语言模型并没有失败，它们已经证明了规模化学习的巨大力量，也会继续成为重要技术基础。但把语言能力等同于完整智能，把训练结束等同于学习完成，可能会让行业错过下一阶段真正关键的东西。

在Sutton的设想里，未来不是一个全知全能的单一模型统治所有任务，相反，会有许多拥有同一套基本设计、但因经历不同而各自成长的“心智”，它们在不同环境中学习不同知识，彼此无法穷尽地替代。这也许才更接近真实世界：世界足够大，任何系统都不可能一次学完；智能不是把所有答案预先装进参数里，而是遇到新问题后，仍能继续长出新的理解。而Oak Lab要下注的，正是这件事。