新研究:大模型关闭思考模式仍有思考惯性

当用户通过接口关闭大模型的「思考模式」,并明确要求“不要推理,直接给出答案”时,实际输出往往不符合日常预期。来自三所顶尖高校的研究者针对这一问题开展了系统测试,发现即便关闭思考模式,模型仍可能在最终答案前写出计算或推导过程,且题目越开放,这种现象越明显。研究团队将这一现象命名为“思考惯性”。
为了准确判断模型是否在推理,研究者没有仅依赖思考开关或回答长度,而是将回答拆分为前置文字与最终答案,从三个维度进行评估:第一维度检查模型是否仅输出合法的最终答案,前后无实质性文字;第二维度衡量前置文字与问题的相关性;第三维度判断是否包含计算、比较、排除等显式推理步骤。负责评判的模型不会知晓被测模型的身份和实验设置,在600条抽样输出上,标注者与自动评判的“是否包含显式推理”二分类平均一致率达到98.8%。
实验覆盖了四个模型家族的六个模型,在六个基准上测试不同思考设置和作答指令对输出的影响,问题类型分为判断题、选择题和开放式数学题。整体来看,只需回答是或否时,模型更容易直接作答;选择题的显式推理比例居中;到了开放题,答案前的可见推理明显增多。若要求更严格的“只给答案”,显式推理比例会降低,但三类任务的排序依然稳定:开放题>选择题>是非题。例如,某模型在关闭思考模式后,在两项基准上的总体显式推理率仍高达99.9%。这说明,关闭思考开关并不能保证模型省略推理过程,且答对题与按要求直接作答是两个需要分别评价的维度。
同一道题,仅改变答案形式,模型的输出行为也会发生变化。研究者选取一批数值答案题,保留题干,调整候选答案和作答要求后,在关闭思考模式的设置下比较结果。原始选择题中,模型准确率为77.8%,直接给出答案的比例为10.5%;改成判断题后,准确率仍为78.9%,但直接给出答案的比例升至62.5%;去掉候选项让模型自行生成结果时,准确率降至52.6%,直接给出答案的比例为0,显式推理比例达到90.1%。这表明,有候选答案时模型可通过核对或选择作答,无候选答案时需自行构造结果,更易在答案前写出推理过程。
要求模型减少推理过程,还会影响最终准确率。对五个支持关闭思考模式的模型,在开放式数学题中加入严格的“只给答案”指令后,平均直接回答比例从接近0提升至约40%,平均准确率下降约15个百分点;而判断题和选择题的准确率变化则相对平稳。因此,能否按要求直接作答,应成为一项独立评估的模型能力,且该能力不会随思考开关关闭自动获得,评测时需同时考察输出合规性与答案正确率。
这项研究也引发了社区的后续验证,有研究者受此启发,对多款模型开展小规模独立测试,同样观察到关闭思考后仍输出显式推理的现象。
研究团队的核心成员包括来自清华大学的本科生、牛津大学和斯坦福大学的学者,论文已被 NeurIPS 2026 接收,相关成果已公开。

