Lev模型：客服决策快准兼顾，按需深化思考
当客服系统每秒处理成百上千条用户请求时，每条请求都需要经过「分诊台」：判断是退款、查物流还是投诉，是否需要转人工，该调用哪个工具。这类问题的核心是，答案都在给定选项中，因此业界有专门的决策模型，比如Jev和开源的Kev。这些模型只需一次前向计算，就能返回每个选项的概率，耗时仅几十毫秒，且不生成任何文本。
但问题随之而来：「我要退款」和「上个月买的东西换过一次货，这次又坏了，能不能直接退、运费谁出」这类请求，在决策模型中需要的计算量完全相同。简单请求被过度计算，复杂请求又无法投入更多算力思考。如果让模型先写一段推理再作答，虽然能提升准确率，但每条请求都要为推理文本付费，哪怕只是一句简单的退款请求。
有没有一种模型，能让简单题像小模型一样快速响应，难题又能像大模型一样投入更多计算？为了回答这个问题，来自利哈伊大学、不列颠哥伦比亚大学和Vector Institute的研究团队提出了Lev——一个用循环而非token来加深思考的决策模型。
Lev的核心思路可以概括为：同一组网络层反复运行，每运行一圈就输出一次答案。作者将这种计算方式称为System 1.5：它保留了System 1「直接给出决定」的接口，又能像System 2一样在难题上投入更多计算，只是这些计算发生在隐藏状态中，而非生成文本。
实验结果显示：在JevBench的231道公开题上，同一个Lev-2.6B模型从1圈的63.2%准确率提升到4圈的76.2%，提升了13个百分点；停止器无需知道题目难度，就能自动为简单题平均用1.2圈、标准题2.4圈、难题3.0圈；按需深度计算在离线统计中减少了15%到24%的环路计算，准确率损失不到1个百分点；在50毫秒以内的延迟区间，Lev-1.4B和Lev-3B比同延迟的非循环模型和级联方案准确率高5.4到8.8个点。
Lev的设计源于一组逐题对比实验：作者对比了两个公开决策模型Kev-0.8B和Kev-4B，两者训练数据相同，在JevBench的231道题中，大模型多答对了28道，且全部来自标准题和难题，简单题两者都全对。两个模型结果不同的题仅有42道，但大模型却在全部231道题上都多花了计算。如果用小模型的置信度选出它最没把握的一半题目交给大模型，准确率几乎能追平大模型全量作答的效果。
这说明：额外的计算只在少数题目上有回报，而一次低成本的初读就能找到这些题目。那么现有的三种「加算力」方案为什么不够？
- 级联方案：Kev-0.8B的中位延迟是79ms，Kev-4B是108ms，被转交的题目需要从头再读一遍，比直接用大模型更慢，还需部署两个模型。
- 生成推理文本：在26B底座的两个开源服务中，打开思考能让难题准确率提高9到13个点，但难题中位耗时变成三到四倍。
- 给预训练模型加装循环：作者在Qwen3.5-0.8B上把中间8层接成带门控的循环，准确率变化不到0.5个点，门控始终接近零，相当于没开。
最后一点尤为关键，说明循环最好在预训练时就学会，而非在决策训练中临时补上。
Lev的三个关键设计：
设计一：每一圈都输出答案。请求和候选项被打包成一条序列，同一组解码层重复运行，每一圈后，同一个pointer head读取各选项和<decide>位置的隐藏状态，输出一次选项概率。
设计二：所有圈联合训练。pointer head和LoRA适配器在各圈之间共享，损失对所有圈取平均，因此第1、2、4圈都是可独立使用的决策模型。用k圈服务时只算前k圈，需要多算一圈时，从上一圈的隐藏状态继续计算，无需重新读取请求。
设计三：停止器预测「当前答案和最深一圈是否一致」。常见的早退规则是「置信度够高就停」，但浅层读出在新数据上严重过度自信，且置信度无法区分「再算一圈就能改对」的错误，因此Lev的停止器换了目标，不需要人工标注，部署方可直接用无标签请求校准。
实验结果显示，同一权重的Lev模型可对应多个工作点：深度越深准确率越高，但收益递减，大部分收益来自第一个额外的圈；提升集中在难题上，111道难题中净多答对19道；按需深度计算在两个测试集上减少了76%到85%的计算，准确率损失仅0.3到0.8个点；在39到46ms的延迟区间，Lev比级联方案高7.0到8.8个点，比非循环方案高5.4到7.5个点。
作者也指出了结果的适用范围：按需深度与同等成本的固定深度相比优势不大；「少算」是离线统计，需服务端支持不同深度请求的调度；优势在延迟而非计算量；多想也会改错，第一个额外的圈改对20.4%的题，也改错8.6%。
Lev带来的启示是：原生循环底座可把「想多深」从训练时的常量变成服务时按题选择的设置，同一个决策模型可针对每道题在延迟和准确率间取舍。作者提出两个后续方向：设计新的停止目标，救回「浅层答对、深层答错」的题目；在更大的循环底座上检验难题收益是否随规模增长。目前，论文、代码、三个模型和三个数据集均已公开。
