文章摘要
近日,美团LongCat团队面向长程智能体任务推出原生多模态模型LongCat-2.5。该模型总参数量达1.6万亿,每个Token激活约480亿参数,在LongCat-2.0的基础上,重点强化原生视觉

近日,美团LongCat团队面向长程智能体任务推出原生多模态模型LongCat-2.5。该模型总参数量达1.6万亿,每个Token激活约480亿参数,在LongCat-2.0的基础上,重点强化原生视觉理解与智能体编程能力。

在自动化任务基准AutomationBench、通用Agent任务基准LongCatClawBench等多项测评中,LongCat-2.5均领先Claude-Opus-5、GPT-5.6-Sol等模型;在终端操作基准Terminal Bench v4.0上,得分38.5,超过GPT-5.6-Sol,但仍落后于Claude-Opus-5。

LongCat-2.5在长序列训练中引入更多长程轨迹数据,通过大规模长程强化学习提升复杂代码库开发、完整项目构建等任务的端到端工程能力。同时,模型将视觉信号转化为多层级离散Token,让视觉与文本输入由同一主干模型统一处理,进一步支持视觉编程、创意设计和3D内容生成。

针对国产加速器单卡不足80GB的显存限制,LongCat-2.5围绕超节点重排FSDP、EP、CP并行度,叠加混合词表并行、MoonEP动态专家复制和双重分片FSDP,将视觉编码移出训练计算图。相关优化让该FSDP配置在长序列SFT任务中的单卡吞吐量较DDP基线提升86%。

模型发布后,相关团队围绕视觉编程和办公任务展开实测。从体验来看,模型生成速度较快,在编程和视觉理解上表现不错:前端视觉效果较好,PPT图表丰富,但画面细节、空间与图层关系仍有提升空间,PPT排版也可进一步优化。

首先,让模型制作“鹈鹕骑自行车”的HTML动画,生成的动画完成度较高,主体突出,画面风格统一,细节较丰富,不过鹈鹕的围巾稍显歪斜,画面细节仍有提升空间。

之后,让模型解读亚马逊第三季度财报并生成带图表的PPT,搭建的分析框架完整,趋势图、结构图和风险提示搭配自然,还给出了投资亮点和风险提示,初步比对未发现数据错误。不过生成的PPT存在部分页面信息密度偏高、文本字号偏小、个别结论略绝对、排版需优化等问题。

LongCat官方团队展示了模型在软件开发和专业办公等场景的能力。在软件开发方面,可生成实时流体模拟与视觉特效工具,构建含高帧率流体动画的交互式网页,鼠标点击或拖拽可形成墨水流动动画;还能开发3D文物展示页面,结合WebGL渲染与前端交互技术生成三星堆青铜神树的3D模型,支持旋转、缩放、聚焦等操作并查看文物信息。

在创意设计和3D场景生成方面,可构建城市沙盘、微缩旋转木马场景和中国传统色彩主题网页,完成从风格提取、布局到交互实现的完整流程。

在办公场景中,能整合多渠道经营数据,梳理口径、计算利润,分析经营表现和投入产出,生成营销、供货、库存与预算配置建议;还可分析客户反馈,识别重复问题和后续事项,按严重程度、紧迫性排序,生成支持查看原始反馈的交互式HTML报告,也能上传场地照片、输入自然语言需求生成带报名、名单查看和表格导出功能的活动邀请网页。

LongCat-2.5采用原生多模态架构,将不同分辨率图像编码为离散Token序列,与文本Token一同输入主干模型。视觉编码沿用LongCat-Next的方法,由语义对齐编码器生成原生分辨率特征,通过残差向量量化将视觉信息压缩为多层级词表Token,缓解离散化的信息损失。模型还引入离线视觉Token预处理机制,提前生成并缓存视觉TokenID,简化长序列打包与切分,改善分布式训练的负载均衡。团队称,视觉码本Embedding与主干模型联合学习,在平均激活约30亿参数的MoE模型上,视觉与文本Embedding在t-SNE可视化中呈交织分布,说明两类信号已在共享语义空间融合。

LongCat-2.5围绕长程Agent任务搭建完整的Agentic RL训练链路,覆盖数据、环境、算法和Harness等方面。数据层面,从公开仓库和内部场景获取代码任务,筛选PR和关联issue,自动生成可交互环境与测试用例,通过fail-to-pass和pass-to-pass测试校验任务有效性。RL训练中,实时rollout轨迹和任务通过率用于二次标注与筛选,基于假阴性、假阳性分析修正扩充测试用例,提升任务覆盖率和验证准确性。针对长程任务轨迹耗时过长问题,采用partial rollout异步训练策略,动态调整过采样率,过滤零梯度样本组保证有效梯度。针对样本陈旧性问题,裁剪采样与当前训练的Logprob差异,调整Token梯度贡献降低偏置。奖励设计上,通过断网、清除缓存限制投机行为,引入LLM judge监督轨迹,对重复调用工具等行为惩罚,对过度思考问题抑制。团队还采用跨任务、跨Scaffold的混合训练,提升模型泛化能力。

为将不同领域能力融入主线模型,LongCat-2.5延续LongCat-2.0的专家组机制,优化Agent能力、推理能力和交互体验,覆盖多轮任务执行、单轮推理、细粒度指令遵循和安全防御等场景。在MOPD训练中,学生模型在线采样,领域专家根据学生采样的全词表KL散度训练学生模型。为降低教师轨迹与学生采样的分布偏移,将教师每轮回复切分为固定长度prefix,限制学生自采样长度,分组送入同一推理引擎共享计算。团队还构建训练树,结合Tree Attention完成同组样本的OPD训练,减少重复计算与存储开销。

LongCat-2.5在预训练和监督微调阶段均采用长序列训练,针对国产AI加速器单卡显存不足80GB的限制,围绕超节点架构重新设计并行策略。根据超节点拓扑配置并行组,FSDP和EP并行度与超节点卡数一致,CP并行度不超过该卡数,让参数AllGather等操作在超节点内部高带宽域完成。通过混合词表并行分片基础词嵌入层等,降低显存占用;基于MoonEP引入动态专家复制机制,平衡通信成本与负载收益。提前生成图像Token,使训练计算图不含视觉编码器,估计多模态负载比例,让不同Rank的模态占比更接近。引入双重分片FSDP,跨FSDP域分片参数,减少常驻显存;通过批量梯度操作、合并归约、CPU绑核等降低主机侧开销。相关优化使单卡吞吐量较DDP基线提升86%。

从LongCat-2.5的技术路线看,模型升级重点已从单纯扩大参数规模,转向视觉统一建模、长程Agent训练、训推一致性和国产算力适配等系统工程。在复杂代码库开发、3D页面生成和多轮工具调用等任务中,模型能否持续执行、验证结果并修正策略,将是衡量Agent能力的重要指标。LongCat-2.5将原生视觉理解与长程Agent训练结合,意味着多模态模型正从“看懂内容”进一步走向“完成任务”。

以上内容不代表本平台立场,仅供读者参考