七年回望萨顿《苦涩的教训》：AI研究的核心启示

在AI领域，有一篇2019年发表的短文始终影响着研究方向，那就是Richard Sutton的《苦涩的教训》。七年过去，这篇文章的价值不仅没有衰减，反而在后续的AI进展中不断被印证。

Richard Sutton是现代强化学习的核心奠基人之一，任职于加拿大阿尔伯塔大学，也是当地机器智能研究所的首席科学顾问。从20世纪80年代起，他与长期合作者Andrew Barto共同构建了强化学习的理论与算法基础，其中时间差分学习是该领域的重要贡献。两人1998年合著的《强化学习：导论》至今仍是该领域的经典教材，2025年，ACM将2024年度图灵奖授予二人，以表彰他们为强化学习领域奠定的基石。

Sutton始终活跃在研究一线，2017年参与创办DeepMind在阿尔伯塔的研究团队，2023年与Keen Technologies合作推进通用人工智能研究，AlphaGo的核心研究者David Silver曾是他的博士生。2025年，两人共同撰写《体验时代》一文，探讨AI如何通过与环境的持续交互学习，而非仅依赖人类已有数据。

2022年，Sutton与Michael Bowling、Patrick M. Pilarski共同提出阿尔伯塔人工智能研究计划，目标是构建长期运行的智能体，在与环境的交互中持续学习，用学到的世界模型规划行动，学习过程贯穿智能体的整个运行周期，而非仅局限于预先划分的训练阶段。该计划直接呼应了《苦涩的教训》，将可随计算扩展的通用方法作为研究重点。基于这一计划，Sutton团队与相关机构合作，打造了“机器人幼儿园”，希望机器人能在安全环境中自主探索，通过行动、感知和反馈积累经验。

《苦涩的教训》的影响早已超出强化学习领域，MIT 2024年深度学习课程在讲解缩放定律时会引用它，斯坦福2025年春季的相关课程也将其列为第一讲的核心阅读材料。它没有提出新模型或排名，却提供了一个审视AI进展的独特视角：我们是在帮助系统发现规律，还是将自身的理解变成了系统的边界？

苦涩的教训：AI研究的核心启示

回顾AI研究70年的历程，最深刻的教训是：能够利用计算资源的通用方法最终会更有效，且优势往往显著，根源在于摩尔定律所代表的单位计算成本持续指数级下降的趋势。

早期AI研究常假设智能体可用计算资源固定，因此依赖人类知识提升性能，但随着时间推移，计算资源的增长会让这种路径失效。比如计算机国际象棋领域，1997年击败卡斯帕罗夫的方法依赖大规模深度搜索，而当时多数研究者试图融入人类对棋局的理解，结果被“蛮力”搜索的方法超越。围棋领域也经历了类似过程，早期人们试图用人类知识减少搜索，直到搜索技术与计算能力结合才取得突破。

语音识别领域，早期依赖人类知识的方法被基于统计和计算的隐马尔可夫模型超越，后来深度学习的兴起进一步延续了这一趋势，减少对人类知识的依赖，用更多计算和数据提升效果。计算机视觉同样如此，早期方法依赖边缘、特征等人类设计的元素，如今深度学习神经网络仅保留卷积等核心概念，表现却大幅提升。

这一教训的核心在于，研究者常试图将自身知识嵌入系统，短期内有帮助，但长期会陷入平台期，突破性进展来自通过搜索和学习扩大计算规模的路线。最终的成功常带有“苦涩”，因为它击败了研究者偏爱的以人类为中心的路线。

从这一教训中，AI领域获得两个关键认识：一是通用方法的强大，能随计算扩展，如搜索和学习；二是外部世界的复杂性远超想象，无法用简单方式简化，应构建能发现和刻画这种复杂性的元方法，而非直接嵌入人类知识。我们需要的是能自主发现的AI，而非存储人类已有知识的系统。

Sutton始终在践行这一理念，从他的研究到“机器人幼儿园”的实践，都在探索让机器持续自主学习的路径，这也是《苦涩的教训》带给AI领域的最宝贵启示。