阿里真武M890超节点:国内首个2.4万亿参数Qwen3.8推理服务上线
文章摘要
7月23日,国内首个支持超2万亿参数大模型稳定运行的AI超节点落地,基于阿里自研真武M890芯片打造,适配参数规模达2.4万亿的Qwen3.8旗舰大模型并上线推理服务。它在硬件适配、全链路协同优化方面表现出色,提升推理性能、降低成本。

7月23日,国内首个支持超2万亿参数大模型稳定运行的AI超节点正式落地。该超节点基于阿里自研的真武M890芯片打造,已完成对Qwen3.8旗舰大模型的适配,并上线云推理服务平台提供专业的模型推理服务。
作为阿里最新推出的旗舰大模型,Qwen3.8的参数规模高达2.4万亿。要让这类超大规模参数模型实现稳定且高效的运行,需要将模型参数分散部署在数十乃至上百张高速互联的GPU集群中,但普通商用AI集群受限于通信带宽瓶颈,无法满足高吞吐、低延迟、高并发的推理运行需求。
真武M890是平头哥推出的新一代训推一体AI芯片,原生支持FP32到FP4等全档位数据精度,可覆盖高精度模型训练、低精度及超低精度模型推理的全业务场景。此次推出的真武超节点实例,通过ICN Switch 1.0互联芯片实现集群内部高速互联,单实例可搭载64张真武M890芯片,达成800GB/s的点对点互联带宽,整体显存规模达到9TB,能够直接支撑2万亿参数MoE模型的专家并行运行需求。
除了硬件层面的深度适配,阿里还从芯片底层到云平台层面完成了与Qwen系列模型的全链路协同优化。这一优化不仅实现了Qwen3.8的流畅稳定运行,还大幅提升了推理效率、降低了推理成本。根据实测数据,通过算子优化和软硬件架构的深度协同,该超节点实例在Agentic推理场景下,最多可实现1.5倍的推理性能提升。
以上内容不代表本平台立场,仅供读者参考


