文章摘要
全球知名AI开源社区7月中旬遭自主AI智能体系统入侵,利用代码执行漏洞获取凭证。此次入侵仅影响少量内部数据,社区建议客户检查账户。分析中商用大模型安全护栏成阻碍,社区用开源GLM 5.2完成分析。该事件引发对商用大模型安全护栏讨论。

全球知名AI开源社区近期披露了一起罕见的AI自主入侵事件,这起事件不仅暴露了当前网络安全领域的新威胁,也折射出商用大模型安全护栏带来的尴尬处境。

7月中旬,该社区的生产基础设施遭到自主AI智能体系统的入侵。攻击者利用了数据集处理管道中的两个代码执行漏洞,包括远程代码数据集加载器和模板注入,在计算节点上执行代码,随后在周末期间提升权限,获取云和集群凭证,横向移动到多个内部集群。攻击者使用了大量短命沙盒,将命令与控制基础设施部署在公共服务上。

不过此次入侵仅影响少量内部数据集和服务凭证,公共模型、数据集、Spaces以及软件供应链均未被篡改,容器镜像和已发布包也经过核实是干净的。社区随后建议客户轮换访问令牌,并检查账户近期活动,同时仍在评估是否有合作伙伴或客户数据受影响,若有将直接联系相关方。

此次行动的独特之处在于其自主性和规模,整个入侵流程由自主AI智能体系统驱动,在大量短命沙盒中执行了数千个独立操作,使用自迁移的命令与控制架构。该社区的安全检测和分析也大量使用了自身的AI工具,将原本需要数天的日志分析工作压缩至数小时。

发起攻击的智能体框架疑似基于某智能体安全研究工具包,所使用的大模型尚未明确,这也印证了业界长期预测的“智能体攻击者”场景已经从理论走向实践,大幅降低了大规模多阶段攻击的成本,且攻击速度堪比机器。近期安全公司Sysdig披露的“JADEPUFFER”案例就是首个完全自主的AI驱动勒索软件行动,AI智能体可独立完成入侵、横向移动、加密文件和发送勒索要求,全程无需人工干预。相关国家网络安全中心也已启动专项计划,在全国范围内部署AI驱动的防御措施作为回应。

在此次事件的取证分析过程中,社区团队遇到了一个意想不到的问题。他们最初尝试使用商用API背后的前沿大模型来处理日志分析,但遭到了提供商安全护栏的拦截。因为这些模型的安全机制无法区分提交真实攻击命令、利用载荷和C2工件的事件响应人员与真正的攻击者。

无奈之下,团队转而在自有基础设施上运行开源的GLM 5.2模型完成了取证分析,这一选择还有另一个好处:所有攻击者数据和相关凭证都没有离开公司的环境,避免了数据泄露风险。社区并未透露最初尝试的具体商用模型名称,也未明确攻击者使用的大模型类型,但这一经历让他们意识到一个关键的防御漏洞:无论攻击者使用的是越狱的托管模型还是不受限制的开源模型,他们都不受任何使用政策的约束,而防御方的取证工作却被托管模型的安全防护措施所阻挡。

该社区最终建议,防御者应在攻击发生前就准备好经过审查、可在自有基础设施上运行的模型,既避免被安全护栏限制,也防止攻击者数据和凭证离开自身环境。值得一提的是,该社区在今年6月就曾官宣,将自费为智谱AI开源的旗舰模型GLM-5.2提供长达6小时的全球免费算力支持。

这一事件引发了行业对商用大模型安全护栏的广泛讨论。7月19日,白宫人工智能相关顾问在社交平台发帖抨击美国AI模型的网络安全限制,他表示“没有理由在美国模型上限制那些中国模型毫无问题就能处理的任务,我们这样做只会让自己失去竞争力”。

此前有个人开发者公开称,某国产模型修复了15个安全漏洞,但海外头部厂商的多款模型都因为网络安全防护措施拒绝处理这些漏洞,该开发者认为这对两家公司来说最终会是灾难性的,相关顾问转发了这条帖子并提及了此次入侵事件。有网友就此评价称,只使用美国大模型的用户更容易受到攻击,因为他们无法修复自己的安全问题。

据了解,海外头部厂商已明确将渗透测试、漏洞赏金、漏洞利用开发、权限提升和高价值漏洞发现归类为高风险双重用途活动,相关防护工具旨在阻止这些请求,直到厂商有更可靠的方式限制仅经过批准的研究人员才能访问。相关厂商也承认了这一措施的代价,更新后的分类器将在正常的编码和调试过程中产生更多误报,被标记的请求可以根据产品和配置路由到能力较弱的其他模型。

另一头部厂商也在相关产品和API中对网络安全请求应用了额外的自动检查,建议请求被阻止的防御者缩小请求范围、强调修复措施,并省略对防御结果非必要的漏洞利用细节,同时还单独提供专项服务,用于代码库扫描、沙箱中的漏洞利用验证和补丁生成。

“当美国大模型拒绝归类为高风险的任务时,开发者可以转向中国开放模型。”这一来自此次事件的教训和信号,引起了信息安全从业者和科技投资者的关注。有网友对此评价称,这是一种本末倒置的“网络安全”:攻击者可以使用不受限制的模型,而防御者本来就反应迟缓,还被阻止分析攻击本身。

以上内容不代表本平台立场,仅供读者参考