大模型竞赛转向：GLM-5.3后训练突破Scaling瓶颈

大模型的Scaling法则已经迎来全新阶段，如今已经无法单纯通过参数量来定义模型的规模与能力，这是智谱创始人、清华大学教授唐杰的最新判断。

唐杰在社交平台分享的相关讨论中，直接拆解了行业发布会常见的误区：当下的模型Scaling，不止是参数规模在变化。

在唐杰看来，单独报出参数量，已经很难说明一个模型究竟处在什么水平，至少还要同时参考三个维度：训练所用的数据量、算力的分配方向，以及模型最终由谁在何种条件下运行。

过去几年，大模型的Scaling路线已经经历了数次集体转向。从最初一味扩大参数规模，到转向增加训练数据量，再到将推理成本与后训练环节纳入整体考量，每一次转向都在更新行业对“最优Scaling”的认知：所谓的最优资源分配，其实会随着任务类型、模型架构和使用方式不断变化。

唐杰复盘了大模型Scaling史上的经典转折：2020年，有研究者通过不同规模的语言模型拟合Scaling Law，得出了影响深远的结论——当计算预算增加时，模型参数的增长速度应该比训练数据更快，两者的比例约为2.7:1。这套结论直接为后续的大模型竞赛定下了方向，多款大模型相继登场，参数量从1750亿一路涨到5300亿，万亿参数逐渐成为前沿模型的标志性标签。

但仅仅两年后，有团队通过训练超过400个覆盖不同参数规模和训练Token量的模型，暴露了当时行业的普遍问题：彼时的大模型普遍存在参数过剩但训练数据不足的情况。针对这一问题，团队推出了Chinchilla模型，它仅有700亿参数，比2800亿参数的Gopher小了四倍，但训练数据达到1.4万亿Token，是前者的四倍。在相同的训练计算量下，更小但“吃得更饱”的Chinchilla全面超过了Gopher，还超越了其他多款同期模型。由此诞生的Chinchilla Scaling Law提出，计算最优配比应为约20个Token对应一个参数，随着计算预算增长，参数与训练数据应近似同步扩大。

唐杰认为，早期的Scaling Law存在拟合误差，且会随着计算规模不断累积，模型越大，参数与数据之间的资源错配问题可能越严重。回头来看，那场万亿参数竞赛，其实是全行业共同走过又折返的一段岔路。

不过唐杰也指出，Chinchilla的结论并没有给出一劳永逸的答案。因为它仅解决了训练阶段的资源分配问题：假设一个模型只训练一次，在固定计算预算下，参数和数据该如何搭配。但现实中，模型训练完成后需要被反复调用，头部模型每天可能需要处理数十亿次请求，模型越大，每次运行的计算量和部署成本也越高。因此推理成本也需要被纳入Scaling的整体账本，最优的资源分配方案也会随之再次调整。

另有相关研究发现，如果一款模型预计要处理约10亿次请求，更小的模型配合更长时间的训练，可能拥有更低的全生命周期成本。甚至有团队将训练强度提高到每参数对应1万个Token，模型质量仍在持续改善。唐杰还举例说明，Llama 2 7B每个参数约对应290个训练Token，Gemma 2 9B更是达到约889个，远远超过了Chinchilla时期的比例。

从扩大参数规模，到补足训练数据，再到计算全生命周期的推理成本，Scaling的重点一直在移动，但背后的核心问题始终没变：有限的计算资源，究竟应该投向哪里。

当模型架构来到MoE阶段，资源分配的命题又多了一层新的维度。唐杰将参数拆分为两个核心维度：总参数量更像是模型的“仓库”，决定了它能存储多少知识、事实和长尾信息；而激活参数量与有效深度，则更接近模型单次能够调动的能力上限，决定了推理链能够走多远。

这两种能力在复杂任务中很容易被区分开来。比如漏洞发现类任务，模型记住更多的案例，意味着它见过更多的已知场景，但当遇到全新的问题时，它还需要从初始线索追踪到完整逻辑，连续完成多步推理且不能丢失线索。因此唐杰强调，这类依赖长链推理的能力，很难直接通过总参数量来衡量。

这套判断也为GLM-5.3的研发方向提供了清晰的解释。智谱团队在GLM-5.3的开发中，保留了GLM-5.2的基座和架构，总参数量和激活参数量都没有改动，而是将新增的计算资源集中投入到长程任务环境与强化学习中，通过后训练环节实现了性能跃升。

根据官方发布的测试数据，GLM-5.3在多个专业评测榜单上都取得了显著提升，比如在Terminal-Bench 3.0上得分从4.6升至28.3，DeepSWE得分从46.2涨到66.9，Agents’ Last Exam也从23.8提升至28.5。尽管目前这些成绩仅来自官方测试，外部复现还需要等待模型权重开放，但这次实验已经验证了唐杰的阶段性判断：Scaling有很多可以调整的“旋钮”。

GLM-5.3选择调整后训练环节，正是因为当时这一方向拥有最大的优化空间。参数规模、预训练数据和单次前向计算量依然是重要的考量维度，后续也可能重新转向其他方向继续优化。多个旋钮无需同时转动，上一轮最值得投入的方向，到了下一轮可能会让位给新的瓶颈。

当前大模型的竞赛单位，正在从“谁的知识库更大”，转向“谁能让模型在真实环境中完成复杂任务”。如果模型仅用于简单的问答场景，参数量依然是一个直观的参考指标，但如果它需要连续工作数小时、数天，甚至作为数字员工接手完整项目，那么决定胜负的就不只是它记住了多少知识，而是它能否稳定完成长链路任务、不跑偏且对结果负责。

万亿参数的概念依然存在于行业中，但从现在开始，它可能不再是唯一值得被写入标题的核心数字。