DeepSeek开源推理框架 揭秘大模型高吞吐高盈利的底层设计

继企业开源内部大规模生产级推理框架后，又发布技术报告详解超大规模集群调度的底层设计，其推出的推理服务展现出惊人的性能与盈利表现。

基于该框架，其推出的高吞吐、低延迟大规模推理服务实现了单日155万亿Token的集群吞吐能力，按谷价计算每卡每小时营收达38美元。对比行业平均每小时5-10美元的显卡算力成本，即便API售价极低，仍能保持80%的服务毛利率。

为何在多数企业为算力投入感到压力时，该方案却能实现盈利？核心在于其对系统架构的极致优化，围绕三大核心目标展开设计。

首先，系统同时兼容英伟达与华为昇腾两种主流硬件；其次，将输入处理与输出生成任务完全分离，用普通8卡设备处理输入阶段，64至128卡的超大型节点专注于输出阶段；最后，将用户历史会话的键值缓存保留时长延长至72小时以上，彻底消除重复计算。

在硬件资源分配上，团队做了精细化调度：输入阶段仅启用小规模专家并行，输出阶段则拉满至超大专家并行，最大化矩阵乘法效率；多模态图片编码则独立部署，单卡即可运行，优先选用机房内成本最低的显卡处理。

分词器重构，破局性能瓶颈

为解决协议转换对性能的拖累，团队将API协议适配、输入编码与输出解析全部用Rust重构。针对特殊标记记录绝对位置，仅对普通文本做并行切分编码，杜绝恶意注入攻击，大幅压缩长文本处理耗时；模型流式输出时，设计跨切片解析状态机，即使UTF-8字符被切断也能在内存中暂存拼合，识别工具调用参数后直接组装输出JSON片段，无需构造多余对象，将首字返回速度推至极致。

四层负载均衡，抹平显卡空转

为消除节点间的木桶效应，团队搭建了四层负载均衡调度体系：输入阶段将输入长度分为四档，通过计算量二次方模型预测耗时，在纳秒级预算内确定最优Token数；输出阶段同时监控每张卡的请求数与缓存总长，交替搭配长短请求，将长请求分配给缓存总量小的卡；MoE专家并行负载则为每张卡预留冗余专家位，动态统计冷热访问并迁移热点权重，将最慢卡与平均卡的性能偏差压缩至10%以内；面对流量波动时自动按需求缩容，节点故障时直接重组通信域，无需长时间重启。

分布式存储与缓存策略，降本增效

键值缓存复用是降低推理成本的核心手段，团队将缓存分为两部分：核心缓存以128个Token为一页，存储在独立分布式文件系统中，该系统为缓存准备了100PB固态存储，峰值读取带宽达每秒10TB；智能体场景缓存保留3天，普通对话保留7天，数据存储在外部独立介质中，节点故障不会丢失缓存，解决了存储与算力扩容绑定的矛盾。

SWA缓存优化，砍半算力开销

针对滑动窗口注意力缓存的浪费问题，团队推出折中方案：SWA缓存不写入硬盘，仅在生成机器的内存中保留约180秒，命中率维持在98%以上；超时后不再读取硬盘，直接截断重算最近128个Token，将注意力窗口限制在小片段内近似拼合；在输出阶段仅重算末尾128个Token，产出后即弃，不进入缓存，这让输入计算量近乎减半。

投机解码与流水线优化，GPU满负荷运转

输出端采用新型投机解码方案，区别于传统固定猜Token的方式，新增置信度预测头，模型边生成边计算概率，每次生成5个候选并按接受率排序，仅将预期收益最高的前缀提交验证，线上吞吐净增6%；同时消除CPU调度等待，GPU执行计算与采样时，CPU同步完成下一步调度、指令发射与上一步后处理，GPU无需等待CPU，全程无缝流水线运转。

通过整套软硬件架构重构，该方案将大模型服务转变为极高吞吐的工业流水线，不仅揭示了大模型推理优化的核心逻辑，更证明低价API不仅不会亏损，反而拥有惊人的利润空间。