AI为何笃信Scaling Law？算力扩张胜过人工知识

想要理解当下AI行业为何普遍认可缩放法则（Scaling Law），Richard Sutton在2019年发表的经典短文《苦涩的教训》是绕不开的核心参考。从大模型到具身智能，技术路线讨论中总能看到这篇文章的影子，它复盘了近70年的AI研究历程，提炼出一个让不少研究者略显不适的核心结论：人类精心构建的领域专属知识，在长期的技术演进中，往往会输给那些能够持续利用更多算力的通用方法。

这也是当下很多从业者相信缩放法则的重要思想根基：拉长时间维度来看，真正关键的并非某一种技术当下看起来有多精巧，而是它能否随着算力的持续增长实现性能的不断提升。

以更长的时间维度审视AI发展

回顾近70年的AI研究，最核心的经验教训在于：从长期视角出发，最有效的技术路径往往是那些能够不断挖掘并利用更多算力的通用方法。这背后的底层逻辑源于算力成本的持续指数级下降，也就是摩尔定律带来的长期红利。

在AI项目启动的初期，研究者通常会默认可用算力不会出现大幅波动，此时将自身掌握的领域知识嵌入系统，似乎是为数不多能够快速提升模型性能的路径。但只要将时间尺度拉长——哪怕只比一个典型研究项目多几年，可用算力就会出现量级级的增长。

为了在短期内快速产出成果，研究者自然会倾向于使用自己熟悉的领域知识，但从长期来看，真正决定技术成败的，是该方法能否持续适配并利用不断增长的算力资源。理论上，领域知识与算力投入并不冲突，但在现实中，二者常常会争夺研究者的时间与精力资源，将资源倾斜到某一条路线上，就必然会减少对另一条路线的投入。

而一旦在某条技术路线上投入过多，研究者也容易在心理上对其产生路径依赖，难以转向更具长期潜力的方向。更棘手的是，大量嵌入人类专属知识的系统往往会变得愈发复杂，反而会阻碍其从通用算力增长中获取收益。

AI发展史上的典型案例

AI发展历程中，类似的技术路径反转案例比比皆是，其中几个极具代表性。

1997年深蓝击败国际象棋冠军：当时依靠的核心技术是大规模深度搜索。不少研究者一直在尝试将人类对国际象棋的结构理解直接写入程序，当深蓝依靠暴力搜索获胜时，他们感到十分失望。最终胜出的方案其实非常简洁：通过大规模搜索配合专门的硬件与软件系统。这些研究者并不服气，他们认为这种“暴力”搜索只是单次获胜，并非通用的智能策略，而且人类下棋并非依靠这种方式。他们原本期望依靠人类知识构建的方法能够取得胜利，但结果却恰恰相反。

计算机围棋领域的技术转折：这一场景重演了类似的故事，只是时间晚了约20年。早期的围棋AI研究者投入了大量精力，希望通过人类的围棋知识与棋局特征来尽可能减少搜索量。但当大规模搜索技术真正发挥作用时，这些精心设计的领域知识不仅变得无关紧要，有时甚至会拖累系统性能。围棋领域的突破还有另一个关键：通过自我对弈学习价值函数。学习能力在诸多游戏场景中都至关重要，国际象棋也是如此，只是在1997年的深蓝系统中，学习并没有扮演核心角色。无论是大规模搜索还是自我对弈学习，本质上都是将海量算力转化为更强智能能力的核心路径。

语音识别领域的统计方法崛起：上世纪70年代，相关机构资助了早期的语音识别竞赛，参赛方案大致分为两类：一类依赖大量人工标注的领域知识，包括词语、音素以及人类声道的相关知识；另一类则以隐马尔可夫模型为基础，更依赖统计方法，同时也使用了更多的计算资源。最终，依靠统计与算力的方案击败了依赖人工知识的方法。这场胜利彻底改变了自然语言处理领域的发展方向，此后数十年间，统计方法与算力投入逐渐成为行业主流。近年来深度学习在语音识别领域的崛起，正是这条技术路线的最新延续：它大幅减少了对人工知识的依赖，通过更多的算力资源与海量数据进行学习，最终显著提升了语音识别的整体性能。

计算机视觉的范式转变：早期的计算机视觉方法依赖人为设计的特征，比如边缘检测、广义圆柱体识别，或是用SIFT算法描述图像特征。而如今，这些方法大多已经退出了主流技术舞台。现代深度学习网络仅保留了卷积操作与少量不变性假设，却取得了远超早期方法的效果。这是一条分量极重的经验教训，但整个AI领域至今仍未完全消化，我们仍在不断重复类似的错误。

技术突破的苦涩本质

想要避免重蹈覆辙，首先需要理解为何这类依赖人类知识的技术路线会如此诱人。其中的苦涩之处在于：将我们对“思考方式”的理解预先写入系统，在短期内确实能够看到效果，也会让研究者获得成就感，但从长期来看，这条路线往往会陷入停滞，甚至会阻碍进一步的技术突破。真正的技术突破往往来自相反的方向：通过扩大计算规模，让系统通过自主搜索与学习来实现性能的提升。

历史一再呈现出同样的过程：AI研究者试图把自己的知识预先写进智能体；这样做短期内确实有帮助，也让研究者感觉良好；但从长期看，这条路线会停滞，甚至阻碍进一步突破；真正的突破最终来自相反的方向：扩大计算规模，让系统通过搜索和学习自行进步。成功之所以苦涩，是因为最终获胜的，往往不是人们偏爱的、以人为中心的方法。

两条核心经验教训

第一条教训：重视通用方法的力量。即便当下的算力已经达到了前所未有的规模，这类通用方法依然能够随着算力的增长实现持续的性能提升。目前来看，最能够以这种方式持续扩展且尚未显现明显上限的两种核心方法，就是搜索与学习。

第二条更具普遍性的教训：人类心智所要容纳的外部世界复杂性，绝非一套简单的规则就可以完全概括。我们不应该再尝试用几个简单的概念，去预先解释空间、物体、多智能体交互或是对称性这类复杂的概念。这些概念本身都属于外部世界，而外部世界本身就充满了变化与无穷的复杂性。因此，我们不应该将我们对这些事物的具体理解直接写入系统，真正应该内置的，是能够让系统自主发现并捕捉世界复杂性的“元方法”。

当然，这类方法需要找到有效的近似方式，但寻找近似的工作应该交给方法本身，而不是由我们预先替它完成。我们真正希望的，是AI智能体能够像人类一样去自主发现知识，而不是仅仅装载我们已经发现的现成答案。如果我们只是将现成的研究结论写入系统，反而会遮蔽智能体自主发现能力的生长。