DeepSeek开源核心推理框架及配套组件 震撼AI圈
为善与众行之，为巧与众能之。
DeepSeek在官方发布的内容中以这句话开场，宣布全面开源内部自研的推理框架DeepInfer，同步推出生产级Token编解码组件deepseek-recipe。
消息发布后，技术社区反响热烈，不少开发者表示被其开放精神打动。
推理框架是提升模型推理效能的核心技术，此次开源的正是DeepSeek用于自身服务的工程实现，属于实打实的核心能力开放。
关于推理框架的作用，可通过一个通俗的比喻理解：训练好的大模型如同名厨，而推理框架则是餐厅的后厨调度系统——当大量用户同时发起请求时，它负责统筹服务器的任务分配、芯片间的协作，决定处理顺序与计算资源调度，直接影响用户体验的出字速度与成本。
DeepInfer
DeepInfer集成了高性能计算算子与经过优化的推理引擎，支持分布式推理、推测解码、滑动窗口有界重放等多种能力，同时兼容英伟达与华为昇腾两大算力平台，核心目标是提升计算效率、减少用户等待时间。
此前，DeepSeek已陆续发布过FlashMLA、DeepGEMM等单点算子库，此次推出的DeepInfer则是将这些零散的技术整合为完整的工程框架，主要包含四大核心特性：
- 核心算子与并行调度一体化：将FlashMLA、DeepGEMM等多款高性能算子打包为统一运行时，内置注意力数据并行、上下文并行、MoE专家并行及负载均衡机制，适配大规模计算场景。
- 生成加速优化：支持基于置信度调度的推测解码（可提前生成候选词并批量验证，默认每次最多生成5个候选词），同时通过滑动窗口有界重放技术截断长上下文的冗余计算，降低预填充阶段的工作量。
- 确定性与结构化输出：支持与批次无关的一致性推理和确定性采样，还可通过正则表达式、JSON Schema等方式限定模型输出格式，省去开发者在业务层处理格式兼容的麻烦。
- 多算力平台兼容：官方明确支持英伟达SM100架构GPU与华为昇腾950 NPU，覆盖主流算力环境。
根据官方公开的测试数据，基于4张SM100 GPU跑预填充、64张跑解码的配置，在128K长上下文场景下，单卡预填充吞吐可达约29K tokens/秒，解码阶段在每用户每秒生成80 tokens的交互速度下，单卡输出吞吐约2200 tokens/秒。
deepseek-recipe
与推理框架同步推出的deepseek-recipe，是解决模型部署中常见痛点的配套组件。不少开发者在将开源模型部署到本地或云端后发现，即使使用相同的模型权重，自行搭建的服务效果往往与官方API存在差距，问题多源于请求前后的格式转换环节。
deepseek-recipe的作用相当于“同声传译”，它能将不同格式的API请求转换为统一的会话表示，按照DeepSeek官方逻辑生成提示词并编码为Token输入模型，模型计算完成后再将结果解析为对应格式的API响应，帮助开发者在私有化部署时获得与官方一致的使用体验。
目前，DeepSeek旗下的相关大模型已基于DeepInfer提供大规模推理服务，官方也表示未来新模型的推理代码与优化内容将持续在该框架的相关仓库更新。
从开源模型权重、底层计算算子，到如今的推理框架与API编解码组件，DeepSeek逐步开放支撑其服务的核心技术与工程经验，正如开篇的那句话所传递的理念：将技术能力分享给更多人。
为善与众行之，为巧与众能之。
