异构推理设计空间全景图：三大核心决策与九条实践落地
随着大模型推理服务的部署逐渐陷入成本与算力的双重约束，Prefill-Decode（简称PD）分离的异构推理已经从前沿技术方案正式进入生产落地阶段。推理加速器的差异体现在多个维度：不同精度下的计算速度、访存带宽与存储容量、机内与机间的通信带宽等。在构建异构Token工厂时，我们可以选择计算密集型硬件运行Prefill阶段，用高通信带宽的硬件处理Decode阶段，此时KV缓存跨硬件、跨精度、跨互联的传输成为常态，但行业长期缺乏统一的设计范式——硬件、量化精度、网络架构以及KV缓存分层存储的选型互相耦合，运维人员只能依靠反复试错调参，极易出现字节传输成功但推理结果错乱、首Token延迟飙升、KV缓存数据污染、故障恢复失效等问题。
近日，上海创智学院、上海交大、复旦、人大以及多家企业联合发布了论文《Demystifying the Design Space and Best Practices for Heterogeneous LLM Inference and Serving》，首次系统性地拆解了异构PD推理的设计空间，提炼出三大核心边界决策与九条部署最佳实践，并在沐曦C600 GPU与英伟达Hopper GPU的混合生产环境中完成了验证。
论文地址：https://arxiv.org/pdf/2606.29708
异构推理成为行业刚需，但缺乏统一设计框架
当前大模型推理正在经历一场静默的架构变革，异构推理已经不再是可选方案：GPU供应紧张、多厂商混合部署成为常态，且推理的两个阶段对算力和带宽的需求天然不同。Prefill阶段适合在性价比更高、供应更充足的芯片上运行，而Decode阶段则更适合在带宽更强的硬件上执行，通过混合数值格式传输KV缓存状态，跨越异构互联完成完整的推理请求。
目前多数团队仍沿用同构时代的部署思路，DistServe、Splitwise、Mooncake、FlowKV等系统各自解决了部分关键问题，但每个系统都独立做决策，比如选择何种加速器、精度格式、互联方案以及KV缓存的放置位置，却缺少统一的设计来回答：哪些决策必须联合做出，哪些可以独立决定？
核心问题：当异构推理组合了不同的加速器、数值格式、互联路径和KV缓存驻留层级时，哪些设计决策必须在PD边界处联合做出，哪些可以各自独立？
这篇论文正是为了回答这个问题，为快速膨胀的异构推理设计空间画出了理论边界。它没有提出新的推理架构或调度算法，而是提供了一份系统性的设计地图，帮助工程团队理解异构推理系统中看似独立、实则耦合的设计选择，以及它们在边界处的交互逻辑。
全链路分析框架：五大设计维度与核心抽象
论文跳出单一模块优化的思路，构建了一套覆盖全链路的标准化分析框架，将异构推理拆解为五个设计维度，并基于维度间的强耦合约束，总结出异构部署必须解决的三大核心边界问题。
在同构部署场景中，这五个设计维度大多可以独立调节；但当Prefill和Decode运行在不同硬件上时，维度之间的耦合会进一步加强：某个在一款加速器上表现优异的精度格式，在另一款硬件上可能没有成熟的内核支持；即便传输引擎成功完成了字节搬运，接收端也可能用完全不同的数值语义来解读这些数据。
论文引入了一个关键抽象——Runtime KV State（运行时KV状态），它不仅包含KV张量本身，还涵盖了表示格式、元数据、驻留信息和所有权状态。所有异构推理的边界问题，本质上都是围绕这个对象的生产（Prefill阶段）、传输（PD边界交接）和消费（Decode阶段）展开的。
三大必须明确的边界决策
通过分析五个设计轴之间的两两耦合关系，论文识别出六个紧耦合和两个开放耦合，并将其归纳为三大核心边界决策：
决策一：计算放置（Compute Placement）
哪个加速器池负责处理Prefill阶段，哪个负责Decode阶段？这并非简单地将最快的硬件分配给最繁忙的阶段。Prefill属于计算密集型任务，更受益于高算力；而Decode是带宽密集型任务，受限于内存带宽和KV缓存容量。同一款芯片在不同工作负载下的表现差异巨大：长输入会推高Prefill阶段的压力，而长生成和高并发场景则会加剧Decode阶段的压力。
更关键的是，精度选择与加速器绑定：一种数值格式是否可用，取决于该硬件上是否有成熟的内核实现，而非仅仅看硬件规格表上的理论支持。这意味着阶段放置、精度选择和负载均衡必须作为同一个决策联合制定。
决策二：KV表示（KV Representation）
运行时KV状态如何在PD边界上被表示、传输和消费？在同构部署中，两端共享相同的运行时环境，这个问题并不存在；但在异构部署中，Prefill和Decode可能使用不同的内核、不同的精度策略，甚至不同的张量布局。
论文指出了一个容易被忽视的失败模式：现有的KV缓存传输引擎（如NIXL、Mooncake）本质上只是在搬运字节，而非传递张量语义。如果生产者和消费者对数值格式的理解不一致，传输本身不会报错，字节成功抵达接收端，但会被错误地解读，这并非传输故障，而是语义层面的错误。
论文将KV可移植性定义为：Decode必须能够直接消费或通过显式验证的转换来消费传输过来的状态。兼容性检查应分为两类——不可转换的不变量（模型身份、适配器、Token范围）和可转换的差异（布局、分区、数值表示）。
决策三：KV所有权与生命周期（KV Ownership & Lifecycle）
运行时KV状态成功传输到Decode端并不意味着流程结束，系统还需要管理它的完整生命周期：何时预留容量、谁持有状态、何时释放资源，以及如何处理失败和取消请求。
论文通过源码级分析，对比了vLLM和SGLang两大推理框架在PD交接路径上的生命周期管理差异。例如在vLLM的NIXL pull模式中，Decode端会在Prefill返回坐标后才发起读取并分配目标空间；而在SGLang中，Decode端会预先分配目标空间并主动发送元数据。两种模式在容量核算、故障恢复和拥塞控制上有着截然不同的特性。
九大落地部署准则
论文结合异构推理生产集群的实测数据、vLLM/NIXL和SGLang/Mooncake的源码审计，以及多组单节点对照实验，总结出九条落地准则，覆盖硬件选型、量化配置、KV缓存传输以及KV缓存全生命周期管理等多个维度。
混合硬件的异构Token工厂实践
论文提供了一个关键的生产部署案例CPHD-GLM5.1：在沐曦C600 GPU上执行Prefill阶段（采用INT8 / W8A8精度），在英伟达Hopper GPU上执行Decode阶段（采用FP8精度），为GLM-5.1模型提供推理服务。
该部署在输入长度为64K、前缀缓存命中率90%的场景下，关键指标表现优异。在AIME 25、AIME 26和SWE-Bench Verified等基准测试中，异构执行的结果与官方参考值的偏差在可接受范围内，验证了异构配置不会引入可测量的质量退化。
受控实验揭示设计轴耦合效应
除了生产部署验证，论文还在单节点环境中开展了受控的SLA性能测量，系统性验证了设计轴之间的耦合效应。
计算放置与KV格式不可分离
在Qwen3-32B、SGLang PD、NIXL的单节点SLA压测中，论文首先固定BF16 KV表示，比较不同P:D拓扑的服务上限：当配置从6P2D调整为4P4D时，最高可满足SLA的请求注入率从0.2降至0.1。随后在相同的4P4D拓扑下，将KV表示从BF16切换为FP8 e4m3，SLA约束下的最高请求注入率提升至1.0。这一结果说明，P:D资源比例不能脱离KV表示单独评估；KV数据类型会直接改变Decode侧的带宽、容量和尾延迟压力，进而反过来影响计算资源放置的最优选择。因此，计算放置与KV表示应作为异构PD部署中同一个决策的两个方面。
精度策略的非对称影响
在单机环境中测试精度策略对全局的影响时可以发现，FP8和AWQ INT4相比BF16都提升了Decode侧的效率，但代价各不相同：FP8改善了TPOT，而AWQ INT4进一步提升了吞吐量，同时增加了TTFT。精度选择在不同阶段会产生非对称的延迟影响，这再次强化了一个结论：精度策略应属于运行时角色，而非全局统一设置。
行业待突破的两大开放课题
论文同时指出了当前产业仍待突破的两大开放耦合问题，为后续学术研究和工程落地指明了方向：
- 跨厂商硬件KV统一传输栈：不同厂商的加速器通信库、内存注册机制并不互通，现有的适配层仅能做简单封装，缺乏原生标准化的跨硬件传输抽象。KV传输本质上是端到端通信栈的属性，而非单纯的传输层特性。
- 互联网络与PD资源协同规划：标准部署的网络带宽固定，只能通过软件调度来适配KV流量；在定制化场景中，可以将网络拓扑、网络带宽作为顶层设计变量，与Prefill/Decode硬件池同步规划，但目前缺少一体化的规划方法论。互联带宽、跨机架链路和集群级拓扑都会受到PD工作负载结构的影响。
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/
AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。
