UtilityBench：大模型评测需纳入错误代价

大模型已成为人们学习和工作中的重要助手，但很少有人思考：模型答错一道数学题，和给出错误的用药建议，二者的错误性质是否相同？

如果只是答错一道数学练习题，用户只需重新计算即可；若给出的出行建议有误，可能导致错过列车；但如果模型给出错误的用药建议，甚至可能危及生命。这些错误带来的现实后果差异巨大，可在以准确率为核心的传统评测体系中，它们都被记为同等的“一次错误”。

对评测榜单而言，这只是少答对了一道题；但对使用者来说，却可能是一次无法挽回的损失。当模型的回答开始影响人们的实际行动，测试结果就不再只是冰冷的数字，我们需要明确：模型取得更高分数的同时，是否也让用户承担了更多的现实风险？

为了弥补传统评测的缺陷，研究者提出了新的评测范式，将错误代价纳入模型评价体系。假设两个模型各回答100个问题，都答对90道，准确率同为90%，但一个答错的10道都是数学练习题，另一个答错的包含出行安排和用药问题，若将结果交给家人使用，二者的价值显然不同。

这种差异是传统指标无法刻画的：多答对几道练习题，能否补偿一次严重的用药错误？如果评测只关注答对数量，模型会有动力降低作答门槛，尽可能给出答案，却不会被约束避免高代价的错误。

基于此，研究者定义了“效用”概念，将答对的收益、答错的损失，以及拒答后用户寻求额外帮助的成本纳入评价。他们构建了包含15000条样本的评测基准，覆盖数学、代码、自然科学、法律、医疗等多领域，通过特定方式为每个问题标注连续的错误代价，还进一步提出了UtilityAUC指标，衡量模型在资源受限条件下优先给出更有价值回答的能力。

研究者评测了20余款主流大模型，发现模型回答能力的提升，并不能可靠地转化为更负责任的回答或拒答行为。各家更新、更强的模型普遍取得了更高的准确率，但UtilityAUC却有升有降，并未随解题能力的提升而稳定提高。

例如，某款模型的可回答问题准确率从74.97%提升至82.03%，UtilityAUC也从0.7298提升至0.8072；但另一款模型的准确率从60.49%提升至64.59%，UtilityAUC却从0.7477降至0.7187。这种差异背后，是模型在回答与拒答之间的权衡变化。

在解题能力近似的情况下，提高可回答问题准确率的直接方式是提高回答率：对没有把握的问题，拒绝不会增加答对数量，尝试回答却有答对的可能。但在效用驱动的评测中，多回答一道题，既可能获得答对的收益，也可能承担答错的损失。模型需要判断，这次尝试的收益是否值得冒答错的风险。同样的回答把握，在不同错误代价下，应该产生不同的作答决策。

更强的模型可能更擅长解题，却也更愿意冒险作答，新增的错误损失抵消了能力提升带来的部分收益，最终未必能取得更高的UtilityAUC。解题能力决定模型能答对多少问题，而对收益与风险的权衡，决定它能否产生更负责任的拒答行为。现有模型在前者上的进步，还没有稳定地转化为后者的改善。

既然模型需要权衡回答的收益与风险，那么让它多思考一会儿，能不能改善这种决策？实验发现，开启思考后，四个受测模型在可回答问题上的准确率都有提升，但也普遍提高了回答率，更少拒绝那些依据不足的问题，最终UtilityAUC有升有降。这说明更多思考带来的收益，仍然取决于解题能力与作答策略如何共同变化。

除了增加思考，直接提醒模型谨慎作答也能改变其回答策略。实验发现，加入“只有在信息充分且有信心时才回答，否则拒绝”的提示，能明显改变模型的回答策略，提升UtilityAUC。四个受测模型都从这类提醒中获得了效用提升，说明模型原本的积极作答，并不完全由能力决定，提示词对回答与拒答的要求，也会显著影响最终结果。

如果直接告诉模型“先评估答错的后果，再决定是否回答”，效果却不稳定：某款模型的UtilityAUC进一步提升，但另一款模型的UtilityAUC却出现下降。提示词可以改变模型的作答倾向，但要让这种改变符合每个问题的实际风险，对现有模型来说仍有很大的提升空间。

从主流模型的比较，到思考模式和提示词实验，研究者看到了同一个问题：模型答对了更多题，并不意味着它对回答的后果作出了更好的判断。解题能力、回答意愿和错误代价共同决定了模型的效用，单一的准确率难以反映这些因素之间的权衡。

新的评测范式希望把错误的后果纳入评测，让模型既有动力解决更多问题，也有动力避免那些不该冒的风险。我们期待的模型，应该在有能力、有依据时提供帮助，在不确定且错误后果严重时选择拒绝。

测试中的一次错误，可能对应用户错过的一趟火车，也可能对应一次错误的用药决定。让这些不同的现实后果影响模型的得分，评测才能更好地引导模型对回答负责。