文章摘要
本文针对行业在10T参数AI模型基建需求上的认知误区展开分析,明确训练数据扩容、硬件升级为10T模型落地提供前提,提出架构设计需平衡注意力效率与混合专家结构需求,基建上推荐128卡规模超节点,需兼顾稳定性、安全性及适配相应性能要求。

假期是行业从业者梳理思路的好时机,就像减少了大量“中断”的处理器,效率会大幅提升。云栖大会结束后,有两个方向的研究在同步推进:一个是离线策略强化学习的后训练算法分析,回归基础细节深挖;另一个是类相关架构的新型XPU研究,不过该项目涉密暂不展开。这两个方向的交集,让我们关注到一个核心问题:10T参数规模AI模型需要什么样的AI基础设施?当前行业在这个话题上存在大量误区,很多设计都是局部次优的,因此我们先从模型架构层面探讨10T模型的合理形态,再分析对应的AI基础设施需求。

1. 10T参数模型的架构思考

1.1 为什么要扩展到10T参数规模?

要讨论10T模型的架构,首先要明确扩展到该规模的必要性。在纯语言模型阶段,训练数据多来自公开互联网语料,规模约35T token,模型参数规模受限于训练数据量。进入智能体时代和即将到来的RSI时代,前沿模型有了足够多的训练数据,包括大量长周期的智能体工作流、高价值的数学定理证明等新内容,同时AI for Science领域也即将迎来重大突破,这些都推动着模型可训练数据规模呈指数级增长,为参数规模扩展提供了前提。

另一方面,硬件基础设施的演进也为10T模型提供了支撑:从早期96GB HBM的Hopper架构,到现在288GB HBM的Blackwell、Rubin架构,以及超节点系统的发展,让单个超节点在推理场景下理论上可以承载5-10T规模的模型。

1.2 10T模型的合理结构是什么?

当训练数据和硬件都满足扩展到10T的条件时,接下来需要确定模型的合理结构,核心要考虑两大约束:算力约束和内存约束。

从算力约束来看,为了满足智能体工作流的高速推理需求并控制成本,10T模型需要更稀疏的结构。当前开源的3T模型激活参数约100B,那么10T模型能否将激活参数控制在100B-150B的范围内,是架构设计的关键。

从内存约束来看,上下文长度的扩展是重要方向,能否将上下文规模推向5M的同时,不显著增加算力和键值缓存的占用?这不仅关系到推理的成本和速度,也关系到后训练阶段的快速迭代和高并发需求。

从这两个约束推导,10T模型可能需要包含2048到4096个专家的混合专家结构,同时注意力模块需要更高效的算法支撑,这也是当前模型架构研发的核心方向。

不过,混合专家结构和注意力算法之间存在矛盾:如果采用线性注意力这类算法,当专家数量达到数千级时,会出现大量专家失效的问题,反而影响性能;而如果要让注意力算法适配数千个专家,又会带来计算复杂度提升、键值缓存占用增加的问题。

另一方面,更高的专家数量也有利于后训练阶段的局部参数更新,避免单一任务增强后其他能力下降的问题。如何平衡注意力效率和专家结构的需求,是10T模型架构的核心挑战。

当前国内开源模型团队大多采用YOCO路线,这一选择正是对上述矛盾的回应;而循环Transformer的架构并不被看好,相关技术分析也指出其存在根本性缺陷。

在循环结构中,模型输出的注意力分数会受到多部分扰动的共同影响,且这些扰动的比例无法人为控制,导致无法在残差空间中精准调整模型的注意力方向而不改变内容的读取结果,这是现有架构的根本局限,也是新算法需要解决的核心问题——分离查询向量、键向量、值向量的处理,让查询向量能通过记忆注入增强路由选择的精度,同时让键值向量具备更好的复用能力,降低内存容量的约束。

2. 10T参数模型所需的AI基础设施

2.1 超节点的合理规模

当前行业有讨论要构建千卡甚至万卡规模的超节点,但实际上,大规模超节点存在诸多问题:节点数量越多,计算和传输耗时的方差越大,长尾延迟会导致系统利用率显著下降;同时,不当的扩展协议设计也会带来额外的性能损耗,早期以太网相关的扩展设计就曾出现过类似问题;此外,超节点规模扩大还会带来可靠性问题,系统的平均无故障时间会急剧下降。

因此,并不推荐千卡规模的超节点,国内开源团队的实践也显示,128卡规模的超节点已能满足需求,比如相关团队推出的基础组件就采用了128卡的超节点配置。在这一规模下,交换机的基数设为128,采用112G或224G的 Serdes 即可,无需更大规格的设备,因为448G Serdes 带来的光传输可靠性问题和延迟增长目前还难以解决。

2.2 基础设施的稳定性

10T模型的训练可能需要单个任务调度20万卡的规模,系统的可靠性是核心问题,需要在纵向扩展和横向扩展之间做好平衡。建议纵向扩展域采用基于 credit 的无损方案,将纵向扩展的范围约束在1-2个机柜内,以铜质互联为主;而横向扩展则采用有损的可靠传输方案,通过算力弥补链路的不稳定性。

可靠传输的本质是用算力换取链路的稳定性,当集群规模达到20万卡时,无损的RDMA会出现性能瓶颈,因此行业内都在自定义支持有损的RoCE协议。实际上,早在几年前就已经实现了5%丢包率下90%的吞吐量,达到了行业领先水平,而当前很多人只关注0.1%的低丢包率,但业务场景要求5%丢包率下系统仍能维持较高的吞吐量,这是训练任务的实际需求。

2.3 基础设施的安全性

智能体时代打破了原有的安全边界,原来企业内部的软件部署是可信可控的,单一数据中心内不需要多租户隔离技术,简单的访问控制即可满足需求;但当大模型生成大量代码后,信任边界发生了变化,训练任务需要按任务进行多租户隔离,尤其是大量沙箱环境的需求。

目前行业对裸机和裸金属的概念仍存在混淆,安全问题会随着智能体应用的普及逐渐凸显,相关的安全设计需要跟上技术的发展。

2.4 基础设施的性能

当前行业讨论的超标量架构问题,在GPU架构设计中也存在类似的争议,相关技术分析也指出了GPU架构的不足,以及新型架构的改进方向,这些都为10T模型的基础设施设计提供了参考。

以上就是关于10T参数模型架构和所需AI基础设施的核心分析,点到为止,不再展开。

本文完

以上内容不代表本平台立场,仅供读者参考