用户意图变化致LLM迷失：Function Switch成关键痛点
当你让AI助手完成一项任务后中途修改需求，它却依然按着最初的思路执行——这种常见的“掉链子”现象，以往常被归咎于模型“不够聪明”，但最新的学术研究给出了不同的解释：这不是笨，而是模型在动态演化的用户意图中迷了路。
当前大模型正以协作Agent的形态广泛落地，从代码生成、深度调研到迭代式文档编辑，这类场景的核心共同点是：用户不会一次性说清全部需求，而是边交互边补充条件、边推进边调整方向，甚至中途切换到更紧急的任务。但现有主流评测体系大多基于单轮交互、需求一次性完整给出的设定，即便部分多轮基准测试也存在明显硬伤，导致这类动态场景下的模型能力盲区长期被隐藏。
动态意图下的能力盲区暴露
研究团队提出了一个关键问题：能否将单轮可验证的评测任务，转化为动态演化的多轮交互场景，同时保留原有的可验证性？答案是肯定的，而通过这种转化，所有模型在真实动态场景下的真实表现被完全暴露出来。
用户意图的三种演化形式
研究团队将第t轮的用户意图形式化为一个四元组：I_t = (f_t, C_t, C^rev_t, y_t)，其中f_t是用户要完成的核心任务（比如查找餐厅），C_t是任务对应的参数槽位集合（如城市、菜系等），C^rev_t是已经透露给AI助手的参数子集，y_t是该任务的可验证最终答案。
基于这个形式化定义，研究团队定义了三种可在同一轮交互中共现的意图状态跳转：
| 跳转类型 | 含义 | 示例 | AI助手的挑战 |
|---|---|---|---|
| 参数披露 | 意图本身不变，仅分批给出信息 | “找家纽约的餐厅” → “对了，我吃素” | 持续收集缺失的约束条件 |
| 参数修订 | 已透露的参数被修改，意图发生变化 | “纽约” → “改成布鲁克林” | 更新内部信念，避免锚定旧的参数值 |
| 任务切换 | 核心任务发生更换，但参数存在继承关系 | “找餐厅” → “帮我订这家” | 察觉任务跳转，复用相关的上下文信息 |
这套形式化定义的优势在于，参数披露的复杂度受参数数量限制，但参数修订和任务切换可以无限叠加，这使得长周期、任意复杂度的动态意图对话可以被规模化合成。
反向生成动态对话的创新方法
多轮意图交互的数据标注成本极高，研究团队采用了反其道而行的思路：不从前往后构建对话，而是从最后一轮的锚点意图反向推导历史交互。完整流程分为三个步骤：
- 意图抽取：从任意单轮可验证的数据集（问题、答案对）中，通过大模型提取核心任务和参数，将最后一轮的意图作为整个对话的锚点。由于最后一轮对应原始单轮任务，AI助手的最终表现可以直接使用原数据集的验证器进行打分，无需新增任何标注成本。
- 回溯扩展：为参数修订场景合成反事实的参数变更（比如先提出纽约作为城市，再修改为布鲁克林）；为任务切换场景递归生成前驱任务链（比如从查找预约地点→查找餐厅→预订餐厅），并强制前后任务的参数集合存在交集，确保上下文可以被合理继承。
- 情境化模拟：调度器在指定的轮数内排布各类意图跳转事件，严格遵守五条一致性规则：锚定最后一轮意图、首轮交互非空、同轮参数唯一、明确任务后才能切换、反事实参数披露必须早于修订。随后渲染器按照“仅说明增量信息”的原则，将每轮的意图增量转化为自然语言，搭配“Wait, I forgot to mention…”这类口语化的前缀，让对话更贴近真实用户交互习惯。
主实验：单轮高分≠多轮靠谱
实验设置了6次意图跳转（三种类型各2次，共7轮对话），测试结果触目惊心：
- 表现最强的模型在GSM8K数据集上，准确率从99.0%下滑至80.5%，降幅达18.7%；在BIRD-SQL数据集上从80.0%降至71.0%。
- 另一模型在BIRD-SQL上从76.0%跌到53.0%，降幅30.3%；在BrowseComp+数据集上从36.0%降至15.0%，降幅高达58.3%。
- 还有模型在BrowseComp+上的准确率从17.0%暴跌至5.0%，降幅70.6%。
- 更极端的案例出现在SWE-Bench数据集上，多款模型的准确率直接从70%以上跌到0%。分析发现，这些模型在动态场景下过度消耗工具调用预算，大部分预算都花在sed/grep/find这类探索类命令上，每轮真正的执行类调用（如pytest、apply_edits()）不到4次——更多的工具调用机会不仅没有提供帮助，累积的上下文和工具痕迹反而成了干扰源。
为何准确率会出现如此大幅的下滑？研究团队解释称，多轮动态意图交互要求AI模型既要跨轮累积信息，又要选择性地仅关注更新后的意图、丢弃过时的信息，维持一个“忠实的内部信念”远比单轮任务要困难得多。
消融实验：哪种意图跳转最致命
跳转次数越多，性能下滑越严重
在GSM8K数据集上独立调整每种跳转类型的出现次数，四款测试模型的准确率均出现单调下滑。其中任务切换的下降曲线最为陡峭，因为这类跳转要求模型丢弃大量已累积的上下文信息，而非仅仅吸收新的参数内容。
组合复杂度越高，模型表现越差
从单一类型跳转，到三种跳转的全组合（共6次跳转），模型的性能随组合复杂度持续退化，而任务切换始终是难度最高的场景。
任务切换后会出现“上下文失忆”
研究团队发现一个更精细的现象：如果评测节点紧跟在任务切换之后，模型的表现尚可接受；但只要在任务切换后再插入几轮参数披露或修订，模型的准确率就会出现明显的二次下滑。这说明AI助手刚完成任务切换时还能承接当前意图，但无法将切换前的上下文与切换后的更新内容结合起来，早期共享的参数会在后续的交互扰动中被逐渐“洗掉”。
缓解措施：记忆机制有用，但无法填补全部差距
既然核心问题是“信念追踪”，那加入记忆机制能否改善表现？研究团队测试了两种方案：
- Prompt Recap：在每轮交互前加入一句提示，让模型在生成回答前先仔细回顾整个对话历史。
- Oracle Recap：在每轮交互中直接重述截至当前的完整用户意图，这相当于提供了作弊级的完美记忆。
测试结果显示，两种机制都带来了实质的性能提升，比如Oracle Recap在任务切换场景下将准确率从65%提升到75%。但即便使用这种近乎完美的记忆机制，所有场景的准确率依然无法达到单轮交互的80%水平。这说明被动的上下文回顾并不是最终的解决方案，未来需要能够主动总结用户当前意图、同时抑制无关上下文注意力的智能系统。
补充分析：难度放大效应与意图追踪的核心病灶
任务难度的放大效应：研究团队利用BIRD-SQL数据集的外部知识hint功能控制题目难度。在单轮场景下，难题相比易题仅多损失3.6%的准确率；但在多轮动态演化场景下，这个差距被放大到9.0%。任务越复杂，多轮动态交互带来的性能惩罚越严重，而真实用户委托给AI助手的恰恰都是这类高难度任务。
逐轮意图追踪探针测试：在每轮交互结束后，直接询问模型“用户当前的意图是什么”，并由独立的评判系统进行打分。结果显示，参数披露和参数修订的追踪准确率接近满分（96%-99%），但当任务切换出现2次时，追踪准确率直接掉到82%。这坐实了核心病灶所在：问题并非出在信息收集环节，而是任务切换本身会让模型的内部信念状态发生崩塌。
