Kimi K3开源：2.8万亿MoE模型助力AGI研究
感谢大家的耐心等待。
今天是Kimi K3开放日，我们正式发布了Kimi K3的模型权重与技术报告，同时开源了支撑该模型训练的三大核心Infra技术：MoonEP、FlashKDA与AgentEnv。我们希望通过此次开放，加速前沿AI技术的部署与普及，推动通用人工智能（AGI）领域的研究与创新。
Kimi K3 模型权重正式开放
Kimi K3是目前团队研发的最强AI模型，它是一款拥有2.8万亿参数的混合专家（MoE）架构模型，原生支持视觉理解能力，同时搭载了高达100万token的超长上下文窗口。
Kimi K3的参数体量是Kimi K2.5的三倍左右，但模型规模化绝非简单的参数堆叠。在算力资源并不充裕的前提下，团队通过Kimi Delta Attention、Attention Residuals以及MoonEP等一系列技术创新，将规模化效率提升了2.5倍——这意味着在算力最优的标准下，单位算力所能产出的智能能力是此前的2.5倍。
现在，所有用户都可以自由下载并部署Kimi K3模型，无论是用于内部研发迭代，还是集成到面向终端用户的产品中，均可按照许可协议合法使用。详细使用规则可查阅Kimi K3许可证。
Kimi K3 技术报告同步发布
本次与模型权重一同公开的，还有Kimi K3的完整训练技术报告，其中详细披露了模型研发的核心技术细节，包括以下几个关键方向：
-
KDA + AttnRes：采用3:1的比例混合KDA与Gated MLA，实现高效的长上下文建模能力，同时通过块级注意力残差机制强化不同层之间的信息流动，让模型的上下文理解更加连贯。
-
Stable LatentMoE：每个token会从896个路由专家中激活16个专家，同时通过SiTU-GLU与Quantile Balancing技术，在极高的模型稀疏度下依然保持训练过程的稳定性。
-
MoonViT-V2：视觉编码器完全从零开始通过next-token prediction任务训练，无需依赖对比预训练流程，在达到SigLIP初始化基线效果的同时，还能获得更稳定的优化过程。
-
后训练与评估：在通用推理、通用Agent和编程Agent三大领域开展了大规模的任务合成测试，搭建了支持百万token上下文的强化学习基础设施，并通过近20个内部评测集完成了完整的模型效果验证。
以上只是技术报告的核心概览，完整的技术论述与消融实验细节都已在报告中展开。
核心训练基础设施开源
一款强大的AI模型，离不开底层训练基础设施的稳定支撑。本次同步开源的还有支撑Kimi K3训练的三项核心Infra技术：MoonEP、FlashKDA和AgentEnv，覆盖了从高性能通信、高性能算子到分布式强化学习环境的全链路关键技术。其中FlashKDA此前已经对外开源，MoonEP和AgentEnv则随着本次Kimi K3的发布正式开放源码。
-
MoonEP：这是团队专为超大规模细粒度MoE模型打造的高性能通信库，能够在专家并行通信不均衡的场景下，依然实现极致的通信效率。
-
FlashKDA：这是团队针对Kimi Delta Attention实现的高性能算子（kernel），在英伟达H20显卡上，相比flash-linear-attention基线方案，其prefill速度提升了1.72到2.22倍，可以直接作为flash-linear-attention的替换后端使用。
-
AgentEnv：这是团队与KVCache.ai合作开发的沙箱系统，用于大规模运行Agent环境。它为Kimi K3的后训练提供了高保真、强隔离的运行沙箱，支持快速快照、恢复和分叉等操作，可以完美适配大规模并行的Agent工作流与训练任务。
这三项技术是保障Kimi K3训练效率与稳定性的核心支撑，现在将它们开放给社区，希望能够为其他开发者训练下一代AI模型提供助力。
开放的初衷与愿景
团队始终坚信开放权重模型的核心价值。这类模型能够降低获取前沿AI智能的门槛，推动整个行业的创新发展，同时赋予用户对自身数据更大的控制权、隐私保护能力和数据所有权。在过去几周的测试与预热阶段，团队已经收到了来自全球AI社区以及众多志同道合的技术领袖的广泛支持。
我们相信，对于AGI这类具备深远影响的技术来说，广泛开放的生态系统才是最适合它成长的土壤，团队也将继续为这个生态贡献自己的力量。
↓快速开始
