大模型LongCat-2.0:GPU/NPU部署与使用指南

近期,国内科技企业推出新一代万亿参数大模型LongCat-2.0,并完成全量开源,同时提供详细部署教程供社区使用。该模型是业内首个基于五万卡国产算力集群完成全流程训练与推理的万亿参数模型,总参数规模达1.6T,平均激活参数约48B,动态激活范围在33B到56B之间,从零开始完成预训练,原生支持百万级超长上下文,核心设计目标是让模型在真实的Agentic Coding任务中,实现更高效稳定的代码理解、生成与执行工作。
在正式发布前,LongCat-2.0的预览版本就已通过全球开发者平台面向全球开放调用,目前该模型已跻身全球大模型调用量前三梯队,月调用量在同类型赛道中位列全球第一、第二和第三梯队,成为全球Agent开发者最青睐的模型之一。本次开源将同时提供INT8和FP8两个版本,方便不同需求的开发者下载使用。开发者可通过国内主流开源模型社区和全球代码托管平台获取完整开源资源。
国产算力全链路突破:打通训练与推理闭环
LongCat团队从2023年开始探索国产算力适配路径,三年间从千卡级算力起步,逐步攻克算子适配、通信优化、分布式系统稳定性等一系列基础技术难题,最终实现了在五万卡国产算力集群上完成万亿参数模型的全流程训练与推理。
LongCat-2.0的预训练数据规模超过30T tokens,覆盖中文、英文、多语言及代码等多类数据集。在万卡级训练过程中,团队针对硬件故障、通信异常、显存压力与数值波动等问题,从稳定性、正确性和效率三个维度进行专项攻坚:
- 在稳定性层面,通过卡间通信异常处理、弹性扩缩卡和自动故障恢复机制,将月均日故障率降低70%以上;
- 在正确性层面,通过自研确定性算子、Bitwise一致性验证和参数检测体系,保障训练结果的可靠性,同时基于实际训练经验优化关键模块计算精度与Reduce逻辑;
- 在效率层面,通过流水线调度、显存优化和算子级控核技术,将训练MFU提升1.5倍。
最终,LongCat团队实现了稳态日吞吐超过1T tokens/day,完成了万亿参数MoE模型在国产算力集群上的稳定训练。
在推理阶段,LongCat-2.0围绕模型架构、算子优化和框架适配进行协同优化:通过大规模专家并行聚合访存带宽,支撑万亿参数MoE模型的低延迟解码;将零计算专家机制融入专家并行通信流程,让路由到零专家的Token避免不必要的传输与计算;同时针对通信、Attention、GEMM等核心算子优化调度逻辑,结合提前下发与权重预取等框架机制,进一步降低推理链路中的等待开销。
从稳定训练到低延迟推理,LongCat-2.0验证了国内团队已具备在国产算力集群上开展大规模模型训练的完整能力,不仅实现了万亿参数模型的成功训练,更确保模型能够在真实业务场景中稳定运行。
专为Agentic Coding设计的架构优势
LongCat-2.0的架构设计始终围绕一个核心目标:让模型在真实的Agentic Coding任务中更高效、更稳定地完成代码理解、生成与执行。
1M超长上下文支持:传统大模型在处理超过100K上下文的文本时,往往会出现前面内容遗忘的问题,而LongCat-2.0采用LongCat Sparse Attention(LSA)稀疏注意力机制,不再对所有Token进行逐句计算,而是智能筛选关键信息,将计算复杂度从平方级降至线性级,确保模型在百万级Token的超长上下文中,依然能够保持精准的信息定位与理解能力。
零计算专家+ScMoE动态算力分配:代码任务中不同Token的复杂度差异极大,比如定义变量和推导递归算法对算力的需求完全不同,LongCat-2.0通过零计算专家实现Token级动态激活(33B~56B),简单Token无需消耗算力,复杂Token则自动获得更多计算资源,实现算力的精准分配。
MOPD多专家融合架构:模型通过MOPD架构融合Agent、Reasoning、Interaction三组专家能力,其中Agent Experts专攻工具调用与自主纠错,Reasoning Experts深耕数学与STEM推理,Interaction Experts优化指令遵循与交互体验。推理时由门控网络根据任务类型动态调度最擅长的专家模块,而非简单合并参数,这让模型在编程、推理、交互等多个维度都表现突出。
实测性能:面向真实场景的领先表现
综合评测结果显示,LongCat-2.0凭借卓越的综合性能与稳定的任务表现,在代码开发与通用智能体场景中表现优异。
在编程能力方面:LongCat-2.0展现出扎实的综合实力:在考察深层工程能力的SWE-bench Pro评测中获得59.5分,领先Gemini 3.1 Pro(54.2)、GPT-5.5(58.6)和Claude Opus 4.6(57.3);在SWE-bench Multilingual评测中取得77.3分,与Claude Opus 4.6(77.8)处于同一水准;此外,在真实终端指令交互评测Terminal-Bench 2.1中取得70.8分,体现了其在真实运维与开发终端任务中的稳定执行与纠错能力。
在办公场景复杂任务处理方面:LongCat-2.0表现均衡:在搜索智能体评测集RWSearch中获得78.8分,在生产力场景评测集FORTE中获得73.2分,在BrowseComp中获得79.9分,所有成绩均达到或接近前沿闭源模型水平,证明了其在多步骤任务规划、复杂工具调用及长程检索执行上的高可靠性,能够很好地契合企业级智能体的落地需求。
真实场景落地:可靠的智能工作伙伴
在内部测试阶段,LongCat-2.0已经展现出强大的实际应用能力,成为可靠的智能工作伙伴:
- Agent快速搭建:通过LongCat-2.0搭建的AI SQL Agent,业务人员可以直接用自然语言完成数据查询,模型自动完成全链路闭环,包括理解问题意图、规划查询步骤,并将数据结果转化为清晰的业务洞察。
- 代码库迁移:当提供旧版插件代码库和新版SDK文档时,LongCat-2.0能够自行分析整体架构、梳理核心逻辑,将整个插件重构为符合新API的实现,保留全部原有功能,修复潜在隐患,实现一次编译通过。
- 完整应用开发:只需描述一个“儿童AI游戏训练场”的创意,LongCat-2.0就会逐步生成技术选型、页面架构、游戏逻辑与视觉细节,从首页到三个完整可玩的游戏页面,全部代码一次产出,开箱即用,轻松将灵感转化为可用产品。
- 3D交互演示:通过一句话描述,LongCat-2.0即可生成完整Three.js 3D演示,包括透明烧瓶、荧光液体、泡沫喷发、液面下降和堆积效果等全部可交互元素,所有代码封装在一个HTML文件中,打开即可使用,快速将创意转化为可交互的3D体验。
- AI小说工厂:基于LongCat-2.0构建的“AI小说工厂”,将创意写作升级为自动化内容流水线。用户输入灵感后,系统会编排多个智能体,自动完成世界观构建、并行章节生成、质量评估与回流修订,并通过长上下文能力保障百万字级设定的一致性。最终生成的内容可自动适配多平台发布,并通过Web面板实时监控生成进度与质量状态,实现持续稳定的连载输出。
快速体验与本地部署
开发者可以通过官方对话网站直接体验LongCat-2.0的完整功能,访问对应链接即可进入体验页面。
LongCat-2.0支持在GPU与NPU平台上进行部署,具体步骤如下:
GPU部署(基于SGLang):社区已经完成了LongCat-2.0在SGLang中的适配工作(相关PR已正式合入),当前版本暂不支持hierarchical indexing,推荐使用16×H20硬件,采用Tensor Parallelism与Expert Parallelism组合部署方式。
cd sgl-kernel python3 -m uv build --wheel --color=always --no-build-isolation \ -Ccmake.define.SGL_KERNEL_ENABLE_SM90A=1 \ -Ccmake.define.CMAKE_POLICY_VERSION_MINIMUM=3.5 \ -Cbuild-dir=build . pip3 install dist/sgl_kernel-0.3.21-cp310-abi3-linux_x86_64.whl --force-reinstall
模型下载:
modelscope download --model meituan-longcat/LongCat-2.0-FP8 --local_dir meituan-longcat/LongCat-2.0-FP8
启动服务:
python -m sglang.launch_server \ --model meituan-longcat/LongCat-2.0-FP8 \ --trust-remote-code \ --host 0.0.0.0 --port 13423 \ --tp 16 --ep 16 \ --max-running-requests 64 \ --mem-fraction-static 0.92 \ --chunked-prefill-size 2048 \ --nsa-prefill-backend fa3 \ --kv-cache-dtype bfloat16 \ --nnodes 2 --node-rank 0 \ --dist-init-addr 33.32.48.42:20000 \ 2>&1 | tee sgl.log
NPU平台部署:请参考SGLang-FluentLLM项目官方文档。
Chat Template使用:LongCat-2.0在tokenizer_config.json中提供了内置chat template,支持将消息列表编码为模型输入,以下是使用示例:
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(
"meituan-longcat/LongCat-2.0", trust_remote_code=True
)
tools = [
{
"type": "function",
"function": {
"name": "func_add",
"description": "Calculate the sum of two numbers",
"parameters": {
"type": "object",
"properties": {
"x1": {"type": "number"},
"x2": {"type": "number"},
},
"required": ["x1", "x2"],
},
},
}
]
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Calculate 1+1"},
]
# 开启思考模式
prompt_think = tokenizer.apply_chat_template(
messages, tools=tools, tokenize=False,
enable_thinking=True, add_generation_prompt=True,
)
# 关闭思考模式,token 效率更高
prompt_no_think = tokenizer.apply_chat_template(
messages, tools=tools, tokenize=False,
enable_thinking=False, add_generation_prompt=True,
)
需要注意的是,与标准OpenAI格式不同,tool_calls中的arguments字段应为dict而非string;若希望在多轮对话中保留完整推理过程以获得更好性能,可传入save_reasoning_content=True。完整的多轮tool_calls示例请参考模型仓库。
限时福利活动
为庆祝LongCat-2.0正式发布,官方推出了限时福利活动,感兴趣的开发者可以通过官方渠道获取详细活动信息。
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台,致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴,你不仅可以学习众多AIGC类实战课程,获得与时俱进的AIGC技能和视野,还有机会获得长期商业合作和接单机会!点击进入:https://www.tahou.com/
AI生成内容提示:本文由人工智能辅助创作,内容仅供参考,不代表平台观点。请注意核实信息的准确性,并理性判断。




