TokenRouter破解词元级路由部署效率难题
在大模型的应用中，将计算分配给不同模型以平衡成本与质量是常见思路。现有的会话级、查询级路由方法多在整段对话或单个问题层面选择模型，而词元级路由允许在回答生成过程中动态切换模型，让小模型处理简单词元、大模型处理复杂词元，理论上能进一步优化效率。但这类细粒度路由在落地时面临诸多挑战：模型速度差异导致的等待、请求切换带来的批次碎片化、缓存管理的反复开销等，都会吞噬算法层面的收益。
针对这一问题，清华大学与卡内基梅隆大学的研究者提出了TokenRouter，这是一篇已被NeurIPS 2026接收的服务系统论文，其核心贡献是为词元级模型协作提供专用的运行时基础设施，通过统一接口、异步交接机制和延迟批处理调度，解决细粒度模型协作的落地难题，而非提出新的路由决策算法。
相关工作与核心挑战
现有的模型路由方法中，会话级和查询级路由与单模型服务栈兼容性较好，无需频繁在解码过程中迁移请求；而词元级路由需要频繁执行“生成—判断—切换—继续生成”的循环，其系统需求包括选择下一个执行模型、传递请求状态、接纳对方生成的新词元并继续解码。但当把这类动态切换映射到固定同步模式时，会制造空闲等待和小批次，导致效率低下。
TokenRouter并未替代现有推理引擎，而是扩展其执行组织方式：各模型继续本地管理批处理和前缀缓存，跨模型协作则由专门的请求交接机制负责，同时将路由策略与底层服务运行时分离，降低实现与集成成本。
统一的编程接口
TokenRouter的接口由三个核心函数构成，分别对应路由判断、状态交接和接收恢复：
- route(result)：在模型前向计算后运行，利用隐藏状态、输出概率等信息决定是否继续当前模型或转交其他模型，不同路由算法可复用同一运行时。
- send(req)：构造跨模型请求对象，包含请求标识、对方未见过的词元后缀、生成状态等信息，还可决定是否携带刚采样的词元，避免无效内容的重复传递。
- receive(peer_req)：将收到的跨模型请求转为当前模型可处理的本地状态，默认接纳传入词元，支持自定义提交规则。
以R-Stitch算法为例，小模型检查输出熵，当熵高于阈值时，将请求转交给大模型并丢弃不确定词元，由大模型重新生成；大模型满足低熵条件时再交回小模型，仅需传递增量词元而非全部历史内容。该接口可覆盖不同切换频率的路由算法，无需强制统一往返模式。
高效的系统设计
TokenRouter的系统架构包含自治子服务器，每个子服务器内部有调度器、模型运行器和私有键值缓存池，外部客户端仅需面对统一服务入口，无需感知内部的模型切换。其实现基于相关技术栈，采用异步执行机制消除全局等待，同时加入“待返回”状态减少重复初始化：请求暂时退出当前模型调度，保留服务状态，对端返回后追加新词元再恢复执行，避免了前缀匹配、缓存节点操作等重复开销。
针对请求到达不规则导致的批次碎片化问题，TokenRouter采用延迟批处理策略：让请求短暂排队，待同一模型的队列达到阈值后再启动批次，用更大的批次摊薄执行成本，减少等待时间。通过离散时间马尔可夫链建立吞吐模型，可选择最优的阈值组合，避免死锁状态，提升整体吞吐效率。
实验验证与性能表现
实验配备了多张A100 80GB GPU，采用双模型（如Qwen3-0.6B与Qwen3-32B）和多模型组合，测试了低计算量、高计算量和智能体相关三类负载，对比了五种路由算法的表现。
在并发数为4的主实验中，TokenRouter相对基线实现了2.01—64.15倍的解码吞吐提升，端到端延迟改善为2.03—63.64倍。当输出上限从2048增至8192时，TokenRouter的吞吐保持稳定，而标准服务基线损失58.1%—85.2%的吞吐，凸显了交接恢复机制在长输出场景的重要性。
进一步的实验显示，TokenRouter在不同模型组合和并发水平下均有优势：在R2R算法的配置中，通过CUDA图优化、异步执行和延迟批处理的组合，最终实现了官方实现的2.76倍吞吐。跨节点实验也验证了其部署可行性，不过仍需应对广域网络等场景的挑战。
结论与价值
TokenRouter的核心价值在于为词元级模型协作补上了专用服务基础设施，让算法研究者可专注于路由规则，部署者则需关注模型切换的实际成本。它证明词元级路由的实用性不仅取决于“何时换模型”，也取决于“换模型后如何高效继续运行”，为后续细粒度协作研究提供了更可用的系统基础。
