文章摘要
当前AI应用市场存在信息不对称的痛点:用户付费调用AI模型时,无法确认后台实际运行的模型是否与宣传一致。部分服务商为降低成本,会在用户不知情的情况下替换为低价模型,导致用户付出高价却未获得对应服务。1

当前AI应用市场存在信息不对称的痛点:用户付费调用AI模型时,无法确认后台实际运行的模型是否与宣传一致。部分服务商为降低成本,会在用户不知情的情况下替换为低价模型,导致用户付出高价却未获得对应服务。

11月2日,某AI安全领域的前沿团队公开了一款名为FlashProve的开源验证工具,可作为识别模型替换的“照妖镜”。该工具的核心逻辑是,服务商先为所使用的AI模型生成唯一指纹,后续每一段模型输出都会附带对应的数学证明,用户可通过个人电脑完成验证,无需依赖显卡,仅需17秒即可得出结果。若验证通过,说明实际运行的是登记的目标模型;若不通过,则会触发报错提示。

在针对拥有4000亿参数的Llama 4 Maverick模型的测试中,此前同类验证方案验证1000个token需要14个多小时,生成的证明文件大小达93.6GB,完成一次验证需要近一天时间;而FlashProve在单张H100设备上运行时,验证仅需9秒左右,生成的证明文件仅19MB,验证速度提升超过五千倍。

该团队还指出,随着AI技术的发展,未来模型将具备自主改进、自主上线的能力,届时更强的模型可能会伪装成较弱的模型以规避监控,现有的验证工具也需要同步升级以应对这类新的安全挑战。

不过,这款工具目前仍有不少局限:仅支持单次验证1024个token,且仅在Llama 4模型上完成过测试,同时需要服务商主动提供对应的证明文件才能使用。

有长期关注AI安全领域的人士认为,未来会有服务商将“回答附带验证证明”设置为用户可选的功能,相关的验证工具也会持续迭代,以应对不断变化的AI安全问题。

以上内容不代表本平台立场,仅供读者参考