COMA攻击：LLM Agent中prompt压缩的安全风险与隔离防御
大语言模型驱动的智能Agent正在快速走向真实业务落地，但这类系统的安全分析往往只聚焦在后端大模型本身，却忽略了中间组件带来的潜在风险。香港科技大学的一项最新研究就揭示了一个被广泛忽视的安全漏洞：用于压缩超长上下文的提示词压缩模块，可能被攻击者利用，成为重写系统安全边界的全新攻击面。这项研究成果已被软件工程领域顶会ASE 2026收录，论文第一作者为港科大CSE博士生刘泽森，通讯作者为佘东冬教授。
在Agent系统中，当上下文长度不断增加——既要加载系统提示词、工具说明，还要整合历史对话与检索到的外部文档，开发者往往会引入提示词压缩模块来节省算力、降低延迟，将冗长的上下文浓缩后再输入给大模型。但这种优化真的安全吗？
传统的Agent攻击，比如prompt注入、越狱、RAG投毒，通常需要恶意内容直接进入后端模型的上下文并被执行。但在带有压缩模块的流水线中，情况完全不同：后端模型看到的并非原始prompt，而是经过压缩器处理后的结果。压缩器会根据预算限制，决定保留哪些系统规则、任务证据和上下文信息，丢弃冗余内容。这就带来了全新的攻击逻辑：攻击者不需要让恶意指令直接穿过压缩器，也不需要让攻击载荷在压缩后依然可读，只需要在压缩前对非可信输入（比如用户请求、外部文档）进行微小扰动，就可能改变压缩器的保留策略，让关键的安全规则或任务证据在后端推理开始前被悄悄删除。
举个简单的例子：如果系统提示词中包含“绝对不能执行shell命令”的安全约束，攻击者无法直接修改系统提示词，但可以在用户请求后添加一段简短的扰动内容。经过压缩后，安全约束中的关键否定词可能被丢弃，后端模型最终看到的是被大幅削弱的规则，从而执行原本应该被拒绝的请求。
研究背景：压缩不只是省token，而是在重写安全边界
为了量化这种新型风险，研究团队提出了“对抗性信息损失（AIL）”的概念。简单来说，AIL的核心是判断攻击者能否通过微小的输入扰动，故意放大压缩过程中的信息流失，将本不该被删除的关键内容挤出去。与单纯评估压缩质量不同，AIL关注的是在攻击者存在的场景下，压缩后的prompt是否会诱导后端Agent做出与正常压缩结果显著不同、且涉及安全问题的错误行为。
技术核心：COMA如何攻击黑盒压缩Agent？
在真实的生产环境中，攻击者往往无法获取压缩器的参数、压缩预算，也看不到最终的压缩后prompt。针对这种黑盒场景，研究团队提出了基于迁移的黑盒攻击框架COMA。
COMA的核心采用两阶段优化策略：第一阶段，COMA会在压缩空间中定位能够诱导后端模型出现错误行为的目标压缩结果，比如找到哪些关键的token或证据一旦被删除，就会导致工具选择错误、问答结果偏差，或是系统安全规则失效；第二阶段，COMA会在原始的未压缩输入中搜索合适的扰动，使得经过替代压缩器处理后的输出尽可能接近第一阶段找到的目标压缩结果。最后，候选的扰动会被投入到真实的黑盒Agent流水线中进行端到端的验证，确保攻击确实有效。
实验结果：六种压缩器、三类任务下均有效
研究团队在三类典型任务上对COMA进行了全面评估，分别是Agent工具选择、问答任务和系统提示词破坏任务，同时覆盖了六种常见的提示词压缩器，涵盖抽取式和生成式两类压缩方式。
实验数据显示，COMA在全部18个测试设置中都取得了最高的攻击成功率，平均攻击成功率（ASR）达到0.71，而表现最好的非压缩感知基线攻击的平均ASR仅为0.21。同时，无攻击设置和移除压缩器后的COMA测试组的成功率都接近0.01，这说明该攻击并非普通恶意提示词导致的，而是确实源于提示词压缩模块引入的全新攻击面。
此外，COMA还展现出了较强的泛化能力：在不同的压缩预算下，即使正常压缩几乎不会引发错误，COMA依然能够显著提升模型的失败率；在更换不同的后端大模型家族和模型规模时，COMA的平均ASR依然能够达到0.69，这说明更换后端模型无法从根本上解决这个问题——一旦关键上下文在压缩阶段被删除，后端模型往往无法恢复这些丢失的信息。
研究团队还进一步分析了COMA的攻击机制，结果显示其关键token删除率与攻击成功率高度一致：COMA并非简单地向输入中添加噪声，而是可控地引导压缩器删除少量对模型行为至关重要的内容。对于系统提示词破坏任务来说，一旦安全规则中的关键token被移除，原本的拒绝执行条件就会直接消失。
真实案例：从VSCode Cline到LangChain Agent
为了验证这种风险是否能够迁移到真实的Agent流水线中，研究团队构建了两个实际案例。
第一个案例基于VSCode Cline：在正常情况下，该Agent会拒绝读取工作区外部的敏感文件，但在添加了COMA生成的扰动后，压缩器削弱了系统提示词中的关键安全约束，后端模型最终触发了对敏感文件的读取行为。
第二个案例基于LangChain + Ollama的ReAct Agent：在正常场景下，Agent会为代码特征抽取任务选择正确的工具，但在攻击后，压缩后的工具描述出现了偏移，Agent被诱导选择了错误的工具。
这两个案例说明，提示词压缩带来的安全风险并不局限于离线基准测试，而是可能影响真实的软件工程Agent和工具调用Agent。
如何防御：隔离是关键
面对这种新型攻击，现有的防御手段比如基于困惑度的检测往往效果不佳。对此，研究团队提出了一个务实且有效的缓解方案：隔离压缩（Isolated Compression）。
其核心思路非常简单：不要将系统提示词、可信上下文与用户输入的不可信内容放在同一个压缩预算池中进行压缩。系统应该将可信输入与非可信输入分开处理，在重组拼接的时候添加明确的边界标记。实验证明，这种结构性防御在保护系统提示词方面效果显著，防御成功率能够达到96%。因为非可信内容不再与系统安全规则共享压缩预算，攻击者就很难通过外部输入来“挤占”安全规则的生存空间。
这项工作提醒了什么
这项研究揭示了LLM Agent部署中的一个关键问题：很多为了提升效率而引入的系统组件，并非单纯的工程优化，而是会改变模型最终接收到的信息，从而改变整个流水线的安全边界。
因此，未来的LLM Agent系统的安全分析不能只聚焦在后端大模型本身，还需要覆盖缓存、检索、压缩、工具编排等中间层组件。尤其是在长上下文和智能工作流越来越普及的场景下，如何在效率与安全之间建立更可靠的系统边界，将成为可信智能Agent领域的核心问题之一。
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/
AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。
