文章摘要
人工智能正加速融入生产系统与核心业务,当AI深度参与业务决策、调用工具、操控设备时,决策者的关注点已从“能力强弱”转向“安全与否”。进入智能体时代,AI安全的内涵也从单纯的数据防泄露、回答防错误,拓展

人工智能正加速融入生产系统与核心业务,当AI深度参与业务决策、调用工具、操控设备时,决策者的关注点已从“能力强弱”转向“安全与否”。进入智能体时代,AI安全的内涵也从单纯的数据防泄露、回答防错误,拓展到直接关联现实资产安全、业务连续性及责任承担的核心问题。

这一转变让AI安全的定位发生了根本性变化——从技术发展的附加条件,升级为AI进入生产系统、核心业务及关键行业的基础能力,直接决定了AI能否落地、能应用到何种深度,以及规模化推广的速度。

AI发展新趋势对AI安全提出新挑战:当前AI能力呈现出六大相互关联的变化,每一项都推动安全风险升级。第一,AI从生成内容的“回答者”转向自主行动者,可独立调用工具、执行任务、操控系统与设备,风险也从“说错话”升级为“做错事”;第二,AI从单模型发展为多智能体协作模式,通过任务拆解、记忆共享、相互调用提升效率,风险则从单点错误演变为系统性、链式风险;第三,AI从辅助工具升级为业务基础设施,广泛渗透金融、医疗、工业、能源、政务等关键领域,模型输出直接影响核心业务决策与连续运行,带来更广的影响范围、更高的代价和更长的责任链条;第四,AI从封闭模型走向开源普及,降低了创新门槛的同时,也让能力与风险同步扩散,恶意使用成本下降,下游责任更加分散;第五,AI从数字世界延伸至物理世界,具身智能、智能汽车、机器人等快速发展,AI的错误或能力不足不再局限于屏幕内,可能直接造成现实损害;第六,AI竞争重心从模型训练转向规模化推理与应用,安全的关注点也从“模型本身是否有风险”,转向“整个系统在真实业务中能否长期可靠运行”。

安全边界扩展为贯穿经济社会的风险地图:随着上述变化叠加,AI安全已从单一的“模型安全”问题,拓展为覆盖基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面的复杂系统问题。越向上层,风险的影响范围越大,各层面又通过数据流、权限链、工具链和业务链相互连接。这使得AI风险呈现三大突出特征:一是链条化,一个提示注入可能借助智能体权限转化为真实业务操作;二是涌现化,单个模型看似安全,多个模型、工具和数据连接后却可能产生新的未知风险;三是外溢化,技术缺陷可能迅速转化为企业经营风险、社会风险乃至国家安全风险。传统的“上线前做一次安全检测”已无法满足需求,必须将安全贯穿数据、开发、部署、运行和退出的全生命周期。

安全与发展是相互促进的飞轮而非跷跷板:AI已成为社会发展的新动能,其自主性越高、能力越强,越能深入核心生产流程,创造更大价值,但同时风险敞口也会随之扩大。企业并非看不到AI的价值,而是担忧事故后的损失规模、风险可控性、业务恢复能力及责任归属问题,只有解决这些顾虑,AI才能从局部试点走向规模化应用。AI高质量规模化应用的核心逻辑是“有效性×可靠性×安全性”:有效性解决“有没有用”的问题,可靠性解决“能否持续稳定使用”的问题,安全性解决“敢不敢将AI放入核心业务”的问题,三者并非简单相加,任何一项趋近于零,整体价值都会大幅下降。因此,安全与发展绝非此消彼长的跷跷板,而是相互促进的飞轮:AI应用扩张带来更多风险暴露,推动企业增加安全投入;安全产品与服务的规模化部署,又会沉淀告警、攻击样本和处置反馈,提升检测与自动化能力;当误报减少、风险更可控,企业的信任度提升,便更敢将AI融入核心业务。安全投入不是单纯的成本,而是降低不确定性、扩大AI应用市场的生产性投入。

AI安全正在形成新的产业增长空间:从全球实践来看,AI安全主要依靠三类主体协同推动:政府通过监管明确底线,企业通过市场竞争推动技术与产品迭代,第三方机构提供技术标准、评测、审计和认证。不同地区的侧重有所差异,美国偏重技术标准、商业平台和市场竞争,欧盟更强调政府监管、安全标准和第三方保证,我国则注重统筹三者的协同作用。在此过程中,AI安全已具备成为独立产业的基本特征:虽然现实收入规模仍远小于潜在市场,但产品形态正从单点工具向平台化演进,智能体安全成为新的增长点,AI应用企业购买安全服务的意愿也在增强,产业价值正从“限制风险”转向“支撑AI规模化进入核心业务”。从市场结构来看,模型安全评测、AI运行时安全、供应链安全、数据安全、智能体与非人身份安全、治理合规和第三方保证等赛道正在形成,收入模式也将从以项目制咨询、红队测试为主,逐渐扩展到平台订阅、托管安全服务、审计认证等持续性收入。赛道越清晰、标准越统一,产业规模才越有可能真正做大。

加快发展AI安全以推动规模化应用:面向AI规模化应用,需重点推进五方面工作。第一,将AI安全纳入国家AI基础能力建设,使其与算法、算力、数据、资本、应用、人才等要素并列,成为驱动AI发展的基础要素,而非仅作为应用上线后的合规环节;第二,推动安全能力内生化,打破过去安全能力在系统建成后外挂的模式,在智能体时代仅靠外围防护已不足够,需让安全与模型设计、智能体架构和业务流程同步建设,形成安全原生模型、安全原生智能体、安全原生平台和安全原生应用;第三,重点攻关智能体安全关键技术,优先发展身份认证、最小权限控制、工具调用安全、记忆安全、多智能体协同安全、行为审计和自动化红队测试,核心是回答三个问题:智能体是谁,被允许做什么,做错后能否及时发现并停止;第四,将AI安全培育成新的产业增长点,推动安全数据、安全工具、模型评测、运行时防护、智能体治理、审计认证和安全服务协同发展,让安全投入既支撑风险治理,也形成新的产业价值;第五,建设AI安全公共基础设施,高质量安全数据集、漏洞与事件数据库、行业安全基准、红队攻防平台、风险监测预警体系等具有明显公共属性,需政府、企业、高校和第三方机构共同参与,降低重复投入,形成统一风险语言。

引入商业保险加快AI安全发展:AI规模化应用还需建立市场经济逻辑,商业保险值得重点探索。很多新技术、新产品从导入期走向规模应用,都离不开保险对剩余风险的分担,对于数据泄露、系统中断、智能体误操作和第三方财产损失等低频高损风险,保险可降低企业“不敢用”的顾虑。更重要的是,保险能将抽象的安全风险转化为可量化、可定价的风险:若企业具备严格的权限控制、上线前安全评测、持续运行监测、人工复核和紧急熔断、完整日志与责任追溯,其保费应更低、保障范围更广,安全能力也从原则要求转化为可计算的经济收益。保险还可将一次性经济补偿升级为持续安全服务,推动形成“安全评测—风险分级—保险定价—持续监测—理赔复盘”的闭环,在承保和理赔过程中沉淀事故发生率、损失分布和控制措施有效性等数据,反过来促进技术、标准和监管迭代。当然,AI保险仍面临责任链条不清、历史数据不足、风险动态变化、系统性风险集中以及损失因果难以证明等问题,因此需从静态保单转向动态保险,从单纯赔偿转向“保险+安全服务”,并探索产业链协同承保。安全技术决定风险能否防范,法律治理决定责任归属,商业保险决定剩余风险能否承受,三者缺一不可。

结语:AI能力越大,进入的领域越关键,获得的权限越高,安全失效的代价也越大,可信度已成为AI规模化应用能否突破的关键瓶颈。因此,AI安全不是AI发展的“刹车片”,而是AI从试点应用走向规模化应用、关键领域应用和高质量发展的“加速器”。让安全能力与AI能力同步演进,形成技术、治理、产业和市场机制协同的安全体系,有助于加快将AI的技术潜力转化为产业价值和社会价值。

以上内容不代表本平台立场,仅供读者参考