DeepInfer开源后vLLM与SGLang追平，推理框架竞争转向多硬件适配

当DeepSeek在10月20日开源面向线上服务的推理框架DeepInfer后，开源推理领域的竞争格局迅速发生变化——vLLM与SGLang两大主流社区框架在短时间内就追平了其性能表现。这一进展标志着开源推理框架的竞争重心，已从早期的Kernel层面优化，转向了多模型适配、多硬件兼容，以及KV缓存管理、P/D分离部署、服务编排等更复杂的系统层面能力。

回溯到9月10日，DeepSeek发布V4.1模型时，仅开源了模型权重与参考推理脚本，在HuggingFace仓库中提供了覆盖SWA加压缩稀疏注意力、Engram、MoE等模块的PyTorch参考实现。模型部署文档中虽提及SWA bounded replay的思路，但未提供具体实现；同期开源的一批Kernel也仅聚焦于算子层面，完整的推理系统框架仍处于空白状态，这为vLLM和SGLang的快速迭代提供了空间。

针对推理系统层面的空白，vLLM与SGLang各自推进了多项核心功能的完善，两者的工作重心呈现出明显差异。vLLM在9月先完成了bounded replay和W4A8 MoE路径的开发，10月则集中于多机部署相关的优化，包括KV传输、DP同步、专家权重迁移等——这些都是当部署规模扩大后才会凸显的瓶颈问题。而SGLang从项目启动之初就已支持P/D分离、HiCache多级缓存，并覆盖了多种硬件平台；10月的工作则主要是将bounded replay、MegaMoE、DP attention等功能相互打通，并在官方Kernel未覆盖的平台上补充适配路径。

到10月19日，两家框架已在GB300 NVL72环境上成功实现P/D分离加大EP的部署，并公开了一批测试结果。在GB300平台上，vLLM采用7个DEP2 prefill节点加1个DEP16 decode节点的配置，配合NIXL传输方案，在4800并发下达到516K token/s的吞吐，每用户P90为153 token/s；SGLang则在不同配置下表现各异，单节点DEP2配置下为284K token/s，14卡NVL72配置下缓存命中96.7%时达到104K token/s，8节点多机配置的数值则在相关看板中更新。这些测试数据的规模虽大，但多数仍处于PR阶段未进入稳定版，不过整体部署形态已基本成型：底层由官方Kernel支撑，框架层面实现了P/D分离、KV传输、DP attention、专家负载均衡等功能，可支持整机柜级别的部署。

DeepInfer开源后，vLLM和SGLang从其源码与文档中吸收了不少经验，这些内容主要集中在Kernel之外的层面。10月20日至27日期间，两家框架提交的PR中，明确引用DeepInfer源码或文档的内容可分为三类：第一类是格式对齐，SGLang将KV格式从旧版V4升级为DeepInfer采用的V4.1格式，压缩体积减半，注意力计算速度提升约40%；第二类是调度与部署规则，包括按上下文总长限制prefill步长、对远离prompt末尾的chunk减少重放、decode缩容时迁移KV至其他引擎、按实测耗时修正投机验证代价等，这些规则解决了大规模服务中的特定问题；第三类是算子融合细节，如mHC直写MegaMoE buffer、置信度头融合等，虽单个Kernel性能提升明显，但整体影响较小，因为核心融合工作已由DeepSeek完成。此外，SGLang还将chat模板、输出解析等功能改为调用DeepSeek官方的deepseek-recipe库，不再维护独立实现，体现了模型相关定义以官方为准的方向。

从覆盖范围来看，DeepInfer是一个针对单一模型（DeepSeek-V4.1-Flash）、特定硬件（SM100、昇腾950）的定制化引擎，而vLLM和SGLang则覆盖了更广泛的模型与硬件。开源后，社区向DeepInfer仓库提交的PR也集中在其未覆盖的空白处，如多硬件适配、KV缓存系统、P/D分离、跨副本负载均衡等。对于使用者而言，在SM100机柜部署V4.1-Flash可直接参考DeepInfer；若需同时服务多个模型、使用其他硬件或需要缓存、编排能力，则仍以vLLM和SGLang为主。

DeepInfer的开源为社区框架提供了一份可对照的生产级实现，加速了框架间的差距收敛；而多模型适配、多硬件兼容，以及KV缓存、P/D编排、跨副本路由等服务系统层面的能力，仍是开源社区框架的主战场。两者从不同角度为开源生态提供了生命力。