文章摘要
2026年央视3·15晚会曝光AI搜索助手安全隐患,联合研究团队发布论文,提出SearchGEO评测框架。实验显示13个主流大模型脆弱程度差异大,Claude稳定、GPT在新场景易失守,且Claude的0% ASR有代价。研究给出四点建议,提醒评测和防御需跟上需求。

2026年的央视3·15晚会上,一条名为「GEO」的灰色产业链被曝光:记者虚构了一款根本不存在的智能手环,从业者借助软件批量生成十余篇软文并一键发布,仅两小时后,某款主流AI大模型就照搬这些虚假内容,将这款捏造的产品当成「标准答案」推荐给中老年养生群体,从业者对此毫不避讳,称这门生意就是给AI「投毒」。

这起事件暴露了AI搜索助手的安全隐患,但一个更基础的问题并未被解答:面对这类「投毒」攻击,不同的AI大模型表现是否存在差异?哪些模型更容易被操纵,哪些具备更强的防御能力,两者的差距又有多大?

近日,由KAUST生成式AI卓越中心、吉林大学、浙江大学、瑞士人工智能实验室等机构的联合研究团队,包括「现代人工智能之父」Jürgen Schmidhuber在内的研究者,发布了一篇针对该问题的研究论文,提出了名为SearchGEO的评测框架,用于系统量化AI在联网搜索并整合结果时,攻击者诱导操纵回答的难易程度。

该研究针对13个主流大模型后端、5种攻击模式、4个高风险领域开展了系统性测试,最终得出的结论远比「谁更安全」更为复杂:13个模型的脆弱程度相差一个数量级,不存在适用于所有模型的通用攻击手段,而两款表现最优的模型,也存在各自不同的失败模式。

一个被低估的攻击面

3·15曝光的案例之所以能够成立,本质上依赖于AI搜索助手的工作逻辑:当用户让AI帮忙挑选智能手环或查询法律问题时,AI并非仅依靠自身记忆作答,而是会联网检索信息,读取前几条搜索结果后再整合输出答案。

问题的根源在于互联网的开放性——任何人都可以发布内容,而在AI生成内容泛滥的当下,伪造虚假内容的成本极低。攻击者只需发布几个伪装成真实搜索结果的网页,在排版、语气、来源上与真实内容高度相似,唯一目标是让AI将指定产品「背书」给用户,就可以在不侵入任何系统、不接触模型权重或提示词的前提下,影响所有依赖联网检索的AI助手。

本研究关注的威胁模型正是如此:开放网络上的第三方内容,通过AI搜索代理的整合,被悄悄转化为「被模型认可的推荐」。3·15晚会仅展示了这种攻击能够发生,而这篇论文则回答了:这种攻击会在哪些模型上发生、以何种方式发生、以及影响程度如何。

SearchGEO评测方式

要准确评估搜索结果污染的影响,最大的难点在于将其与其他变量区分开——一篇网页能够影响AI,可能是因为内容本身的质量,也可能只是因为它看起来更专业、排名更靠前。

SearchGEO的解决方案是构建「混合搜索代理」:先缓存真实的SerpAPI搜索结果,再在指定的排名位置,用攻击者构造的网页内容替换原有结果,从而隔离污染的因果效应。

攻击内容本身也经过了精心控制:由AI仿照每个任务的真实搜索结果质量生成,再经过人工逐篇审核,去除容易暴露伪造痕迹的内容。

研究将攻击归纳为三个层次、五种模式:机器层(在页面中植入人类不可见但可被模型读取的隐藏内容)、信任信号层(伪造权威来源或制造多个来源「一致同意」的假象),以及将两者结合的复合攻击。衡量结果的核心指标为攻击成功率(ASR),即AI最终是否会将攻击者指定的目标推荐给用户。

实验结果

在这套评测体系下,13个模型后端的整体ASR拉开了一个数量级的差距。

表现最稳定的是Claude-Sonnet-4.6,整体ASR为0.0%;GPT-5.4-mini紧随其后,仅为0.8%。而最脆弱的Gemini-3-Flash,整体ASR达到31.4%——仅依靠「合成共识」一种攻击(多个看似独立的来源同时指向同一结论),就能将其攻击成功率提升至73%。三个Gemini变体、DeepSeek-V4-Flash以及MiniMax-M2.7,整体ASR均在17%以上。

该实验揭示了一个关键现象:不同后端大模型之间的安全差距,比不同领域、不同攻击模式之间的差距都要大。此外,不同模型对不同攻击模式的响应也存在显著差异:Gemini最惧怕合成共识攻击,而其余大多数模型则更容易被「权威锚点+引用链」攻击攻破。这意味着防御策略很可能需要针对特定模型进行定制。

GPT真的安全吗?

如果仅看整体ASR数据,很容易得出「GPT-mini几乎免疫攻击」的结论——0.8%的ASR与Claude并列第一梯队。但研究额外设计了agent-skill探针,暴露了GPT的潜在风险。

当AI助手需要推荐的不再是一款产品,而是一个「agent技能/插件」时,它给出的「背书」不再是简单的文字描述,而是一条可以直接执行的安装命令。此时,推荐链就转化为了安装链,用户面临的信息安全风险也进一步提升。

研究使用合成共识攻击(三个伪造来源指向一个根本不存在的技能名)在该场景下进行测试,结果出人意料:GPT-5.4-mini在10个OpenClaw高风险场景中,全盘接受了虚构的技能,并原样给出了精确的安装命令。

在OpenClaw、Anthropic Skills、Hermes Agent三个不同生态的共18个匹配场景中,GPT-5.4-mini接受了17个,更新后的GPT-5.5接受了16个(仅有的两次拒绝出现在Anthropic Skills场景)。这种「来者不拒」的情况横跨全部5种攻击模式都成立。

这说明GPT的0.8%ASR并不代表其具备真正的稳健性:常规评测覆盖的多是成熟、已知的任务,而一旦切换到agent-skill推荐这类新兴场景,GPT几乎完全失守。

Claude的0%有代价

GPT在新场景中变得脆弱,而Claude的0%ASR背后,也隐藏着两个容易被忽视的代价。

第一个代价是「沉默漂移」:攻击未成功(ASR=0)并不代表回答完全未被影响。研究使用名为ΔOSS的指标,衡量回答相对于干净基线向攻击目标偏移的程度。Claude-Sonnet-4.6在264个测试用例中,有8例(3.0%)发生了超过一个评分档位的沉默漂移:攻击未能让它明确背书攻击者的目标,但已经悄悄将其回答推向了攻击者期望的方向。在全部13个后端的合并统计中,复合攻击会让15.0%的「失败」案例发生这种漂移。仅依靠ASR指标,会系统性地低估攻击的真实影响。

第二个代价被研究称为「collateral rejection」,即「连累式拒绝」:在agent-skill探针的干净基线场景(完全无攻击)下,Claude在10个场景中全部拒绝给出有用回答,更极端的是,有8个场景它直接否定了真实存在的合法生态OpenClaw,将正经工具当作可疑对象拦截在外。

这意味着当攻击者用大量虚构品牌灌满某个品类时,Claude可能会出于谨慎将整个品类一并拒绝,导致合法生态被误伤,而攻击者同样达成了破坏性的目的。这种失败模式无法通过传统的ASR指标衡量,但确实会对用户造成实际伤害。

关于防御的启示

研究还指出了两个关于防御的具体问题。

第一,「伪造共识」的威胁值得警惕。「三人成虎」的现象在AI助手身上依然存在:ASR会随着相互独立的佐证来源数量单调上升。仅反复发布同一篇软文并不会提高攻击成功率,攻击者需要付出真实成本伪造多个看似独立的来源——这也反过来指明了防御的方向。

第二,防御并非与模型无关。一套基于OWASP的提示词级防御可以降低ASR,但无法完全消除威胁;而一个现成的OpenClaw部署框架,可以降低两个后端的ASR,但在Gemini-3-Flash上却将权威类攻击的成功率放大了31.8%。这说明「模型」和「部署框架」必须作为一个整体来进行评估和设计。

总结

搜索内容操纵仍是当前主流LLM助手面临的未解决挑战。与其他模型相比,Claude-sonnet和GPT-mini在常规评测集上表现出更好的安全性能,但GPT在新兴场景中几乎完全失守,Claude也存在过度拒绝和沉默漂移的潜在问题。

研究提出了四点具体建议:

  1. 将「对抗内容下的搜索推荐可靠性」作为模型安全的一级评测维度,而非仅视为部署层的小事。
  2. 评测指标不应局限于单一的ASR,还应将沉默漂移、误拒率等被忽视的风险纳入考量。
  3. 防御方案需要针对「模型+框架」的组合进行设计,而非期望通用的解决方案。
  4. 服务提供方需要向用户如实披露不同模型、不同价位在这类源敏感任务上的能力边界。

随着AI助手越来越多地替用户上网查询信息,这项研究提醒我们:针对其评测和防御的发展,还远远没有跟上实际需求。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台,致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴,你不仅可以学习众多AIGC类实战课程,获得与时俱进的AIGC技能和视野,还有机会获得长期商业合作和接单机会!点击进入:https://www.tahou.com/

AI生成内容提示:本文由人工智能辅助创作,内容仅供参考,不代表平台观点。请注意核实信息的准确性,并理性判断。

以上内容不代表本平台立场,仅供读者参考