DeepSeek全面开源推理框架DeepInfer 助力大模型普惠

推理框架：大模型服务的核心中间层

大模型的实际服务能力，除了模型本身的技术上限，还受一个容易被忽略的关键环节制约——推理框架。如果说模型的训练是让算法掌握知识，那么推理就是让这些知识转化为可落地的服务。在用户需求呈爆发式增长的当下，推理框架需要高效调度海量算力资源，其性能直接关系到AI服务的运营成本与能源消耗水平。

DeepInfer开源：推动大模型普惠

国内专注于大模型研发的技术团队，始终在探索推理性能的极限。此前该团队已开源多款大模型、TileLang编译工具及推理算子库，近期又进一步将自研的内部推理框架DeepInfer全面对外开放。

正如古语所说：“为善与众行之，为巧与众能之。”该团队希望通过分享内部的部署经验，帮助开发者与企业优化大规模推理的吞吐效率与延迟表现，从而更高效地搭建私有化或公有云部署方案，降低算力成本、减少能源消耗，让AI服务以更亲民的价格触达更多人群，推动大模型技术的普惠化。同时，团队也将持续支持社区的大规模部署优化工作，欢迎更多开发者参与开源建设。

DeepInfer框架能力与配套组件

这款开源的DeepInfer框架，目前已支撑起旗下大模型V4.1 Flash的高吞吐、低延迟大规模推理服务。未来，该团队新模型的推理代码及相关优化内容，也将在这个框架上持续更新。

• DeepInfer推理框架：集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等功能，兼容英伟达与华为昇腾等主流算力平台。

• deepseek-recipe编解码组件：同步开源的生产级Token处理工具，其逻辑与官方API完全对齐，确保社区开发者能获得与官方部署一致的API使用体验。

开源仓库地址

开发者可通过以下地址获取相关开源代码：

• DeepInfer：https://github.com/deepseek-ai/DeepInfer

• deepseek-recipe：https://github.com/deepseek-ai/deepseek-recipe

未来展望

借助全面开源的模型、算子库与推理框架，相关领域的从业者期待，未来全球AI服务的覆盖范围与质量将迎来前所未有的提升，变得更加公平、透明且可信。这不仅能加快全社会的技术迭代速度，还能减少能源浪费，让有限的资源在基础设施与用户终端之间更高效流转，以可负担的成本为更多人提供强大的智能服务，同时传递技术带来的善意与可能性。

该团队将与全球开发者携手，为实现这一未来图景持续努力。