月之暗面放出Kimi K3.1 Pro权重 vLLM同步支持

今天凌晨，国内某AI研发团队放出了其旗舰大模型Kimi K3.1 Pro的完整权重，同时配套的推理框架也同步提供首日支持。这款此前已在多个平台上线的模型，现在可部署到自有基础设施中运行。

该模型总参数仍为2.8万亿，每次激活约1040亿，支持100万token的上下文窗口，乍看与前代模型K3差异不大，但核心技术调整明显。

K3.1 Pro保留了前代的混合架构，同时为其中24层注意力机制增加了稀疏索引功能，能力提升主要来自更大规模的后训练投入，长上下文的运行逻辑也随之优化。

长任务性能的深度打磨

该模型在K3的基础上进行了大规模后训练，团队在数百个下游领域开展了联合强化学习，同步优化了训练框架、长上下文推理机制、沙箱环境、任务调度及环境质量检查流程。

在长程编码评测中，成绩从K3的55.95%提升至61.2%；金融建模得分从50.4升至57.6，金融研究得分从58.8升至70.4。

团队曾用该模型基于开源人体解剖模型搭建人体行走动力学模拟器，需处理296块骨骼和402块肌肉组件。初期模拟人体行走几步就会倾倒，经过167次任务迭代和420次独立评审后，控制器可实现交替迈步，连续行走11.2秒。过程中还发现肩部肌肉力臂计算的36处错误，修正后训练效果显著提升。

在内部压力测试中，开启工具后的事实断言错误率从K3的23.4%降至8.3%；外部智能体竞技场平台基于1.75万次真实长时程会话的统计显示，K3.1 Pro Max位列开放模型第一、总榜第13，在工作、编码、聊天三类任务中均居开放模型首位。

注意力机制的重点优化

两代模型均保留69层Kimi增量注意力，这部分用固定大小的循环状态处理历史信息，其余24层负责读取缓存的token表示。K3在这24层使用门控混合线性注意力，K3.1 Pro则新增了深度求索稀疏注意力索引器。

每次生成时，索引器先用32个轻量索引头对历史token打分，选出最相关的2048个，注意力仅读取这些位置的完整潜在表示进行计算。以某推理框架的FP8配置为例，每token索引键及缩放信息共132字节，完整混合线性注意力潜在表示为576字节，单层解码所需数据量降至稠密版本的约23%，大幅降低了长上下文场景下的带宽压力。

百万上下文的部署优化

某推理框架的首日支持解决了长上下文部署的核心问题。K3.1 Pro需同时存储混合线性注意力潜在表示、稀疏注意力索引键和增量注意力状态，三者大小不一，该框架将其组织为连续缓存，避免统一页面大小带来的空位填充；预填充和解码可分开部署，按整块传输。

索引本身占显存，该框架支持进一步量化：潜在表示用NVFP4，索引键可选MXFP4，还可通过解码上下文并行将历史token缓存分到多张卡上。在8张高端显卡的测试中，TP8配置加FP8缓存可容纳约3份完整的百万token上下文，叠加低精度缓存和解码上下文并行后，可容纳36份。

处理长输入时，原按注意力头分工的方式会导致多张卡重复计算索引，改为按token分工后，每张卡处理自身查询，34万token输入的首token等待时间从15.89秒缩短至9.42秒。生成速度方面，配套的推测解码预览模型可将解码速度提升约3倍。

训练技术的创新

本次首日支持还带来了面向训练团队的零不匹配强化学习技术。该技术让生成和训练流程在同一批token上计算的对数概率逐比特一致，减少训练与生成实现不一致带来的偏差。

在完整模型上开展的100步低秩适配强化学习实验覆盖了注意力投影和全部896个路由专家，过程中生成与训练端的KL值始终为0，某评测指标从0.451升至0.664，团队仍在优化该训练路径的性能。

部署路径说明

模型权重可在开源模型仓库获取，除了某推理框架外，还有其他部署入口。首日适配覆盖主流硬件平台，包括英伟达、AMD、谷歌TPU及阿里平头哥真武PPU。公开权重采用自定义许可证，商用部署前需查看仓库协议。

接入自有智能体时需注意，多轮对话和工具调用需将模型返回的完整助手消息传回历史，包括推理内容和工具调用，仅传最终答案会丢失后续推理所需内容。