新加坡国立大学Jeva模型:解决AI决策痛点的四大特性

当语言模型面对需要决策的任务时,是否应该从决策本身出发构建模型?许多模型请求的最终需求并非长篇推理文本,而是明确可靠的判断——比如从文档中找证据判断条件是否成立,或是按照标准给出评分。
面向这类需求,System One模型直接输出选择、概率或分数,无需生成推理内容,但这类设计仍有不足:同一问题下,仅调整选项顺序就可能改变模型判断;或是遇到用户需要办理退款,却只提供修改地址、查询物流、重置密码这类无关选项时,模型给出的排序首位答案也未必适用。
新加坡国立大学xML实验室的最新研究,将这类问题放回架构设计的起点,推出了Jeva模型,聚焦不同决策任务共同需要的四项结构特性。
Jeva的四项核心特性
Null-aware:没有合适答案,也是一种答案
“最优选项”不等于“合适选项”。假设用户办理退款,候选选项只有修改地址、查询物流、重置密码,即便其中某一项得分最高,也无法解决用户需求。Jeva将“是否存在可接受的候选”与“候选间谁更优”分开判断,为无合适答案的情况输出明确的“无答案”标识,而非强行选择某一选项。
Permutation-invariant:换顺序,不换判断
同一组候选,从A、B、C调整为C、A、B,其本身含义并未改变。Jeva按候选集合进行对称聚合,以统一规则打分,让概率跟随候选身份而非列表位置。判断的核心是是否选择同一个答案,而非是否选择列表中的某一位置。
Option-scalable:选项变多,决策方式不变
候选可能是十几个标签,也可能是上千份文档。Jeva为每个候选应用共享的评分规则,无需为新增候选扩展固定的答案符号。在大候选实验中,它直接处理完整集合,无需通过多轮淘汰逐步缩小范围。
Cacheable:复用选项的计算,不复用旧答案
文档、政策条款、评分标准等内容通常比用户问题更稳定。Jeva可以保留这些选项的计算结果,在问题变化、候选重新组合时复用;仅当前请求的判断需重新执行。缓存的是可复用的信息,而非上一次的结论。
这四项特性并非互不相干的功能,而是同一决策架构需要共同应对的核心问题。
Jeva的架构设计逻辑
Jeva将“文本理解”与“当前判断”分离:共享编码器分别处理请求和选项,轻量决策模块读取整个候选集合,仅更新请求状态。由此,选项的表征保持可复用性,判断则随当前问题和候选内容动态更新。
首先,让候选集合参与判断。分别编码不等于独立打分:固定初始请求状态和候选A、B,仅将第三个候选从C₊替换为C₋,就能让请求状态改变,偏好从A转向B。这说明单个决策块可表达集合相关偏好,而仅依赖请求与单个候选的独立评分,无法因第三个候选变化反转A、B的相对排序。换位置不应改变判断,换可供选择的内容则可调整判断。
其次,区分“谁更好”与“是否有合适答案”。得到候选分数后,需判断整组选项是否适用。Jeva用q描述候选间的相对偏好,用覆盖概率ρ估计是否存在合适答案,合成为包含“无答案”的完整分布。比如将两个候选分数同幅降低,相对概率不变,但覆盖概率下降,“无答案”概率升高;固定已有分数加入低分候选,覆盖概率不变,候选间概率重新分配。
最后,复用不变选项的计算。状态更新和输出计算随请求执行,选项的语义表征及其投影可缓存。模型、决策类型与编码设置固定时,新请求可取出已有记忆,重新组合候选集:第一次处理A、B、C需准备三个选项,第二次面对B、C、D只需新增D,第三次使用A、C、D时三个选项均可复用。每次仍需重新编码请求并计算当前判断。
同一套计算支持Choice、Noul和Score三种输出,可分别对应不同问题:比如面对“生产登录页返回错误,所有客户无法登录或购买”的报告,不同输出可回答不同维度的问题,其中Noul返回命题为真的概率,“无答案”表示无合适候选。
实验验证结果
Jeva-4B使用Qwen3.5-4B骨干和一个决策块,评估从任务质量出发,同时检查答案缺席、选项重排、候选规模增长等结构性问题。
在BANKING77数据集上,研究团队构造了3080个匹配请求,每个提供16个候选,其中588个为答案缺席的情况。Jeva的“无答案”检测AUROC达98.66%,高于其他对照模型。AUROC衡量不同阈值下区分“有答案”与“无答案”的能力,在约5%有答案请求被误判为无答案的阈值下,Jeva可识别约94%的答案缺席请求,对应退款场景的核心需求:不仅要排序,还要识别无合适选项的情况。
顺序实验中,固定问题和候选内容,仅调整候选排列。在600个Choice样本上,测试原始顺序、倒序及随机排列,Jeva未出现决策翻转,原始准确率与“所有测试顺序下均答对”的准确率均为76.67%,而对照模型的翻转率更高。这说明Jeva在选项顺序变化时保持判断稳定。
候选规模扩展实验中,Jeva支持32到2048个候选的全部请求,在2048个候选设置下准确率69.88%,中位延迟12.04秒,对比递归选择模型,准确率更高且速度提升约2.35倍。对同一问题逐步扩展候选时,Jeva在所有规模下答对58个问题,远优于其他模型,展示了候选扩大时的决策稳定性。
长文档复用实验中,当候选全部缓存时,请求中位延迟从约2.10秒降至75.1毫秒,加速约27.98倍,且不同缓存条件下无决策改变,验证了缓存机制的有效性。
总结
Jeva将答案缺席识别、顺序不变性、候选扩展和计算复用统一到模型设计中,核心可概括为:让决策的基本原则成为架构的内在能力。
Jeva提供的不仅是更快的推理,更是一种设计视角:将候选集合、答案缺席和计算复用视为决策的核心结构,让架构从一开始就为这些需求设计,而非后续补充。

