移动AI(MoAI)安全:四类防御与九大开放问题

长期以来,移动AI服务基本遵循「云端依赖」的模式:终端设备采集语音、图像、文本、位置与上下文等各类数据后上传至远程服务器,由云端大模型完成推理后再将结果回传给用户。这种模式简单易扩展,也便于服务商集中管理模型,但在实际场景中存在三个核心痛点:敏感数据需要离开设备、网络传输带来额外延迟、在无网或弱网环境下智能功能会直接失效。
随着硬件升级与模型优化技术的进步,端侧AI成为了新的发展方向。据行业观察的最新研究显示,Google Tensor、Apple Neural Engine、Qualcomm Hexagon等移动端专用AI硬件,以及面向本地部署的轻量化、多模态、生成式推理模型,正在将越来越多的AI能力下沉到终端设备中。Mobile On-device AI(MoAI)正逐渐成为移动智能服务的重要范式:AI模型不再依赖云端部署,而是以LiteRT/TFLite、Core ML、ExecuTorch、ONNX等轻量化格式,直接存储、加载并运行在用户的移动设备上。
对于用户而言,MoAI带来了更低的延迟、更强的隐私保护,以及离线可用的AI功能;对于开发者来说,模型离用户更近,能够提供更顺滑的使用体验。但对于安全研究者而言,这种范式也带来了更复杂的安全挑战:当模型部署在用户的本地设备上,谁来保护模型本身的安全?如何保证输入数据的可信度?又该如何约束模型运行的环境?
在传统的云端AI系统中,模型通常部署在服务商可控的数据中心中,用户设备仅作为轻客户端存在,攻击者很难直接接触到模型参数、模型结构与运行时状态。而MoAI则彻底改变了这一安全边界:为了实现本地推理,模型文件、推理框架、运行时中间状态与硬件加速路径都需要存在于终端设备上,用户设备不再仅仅是输入输出窗口,而是同时承担了输入接口、模型工件存储、运行时执行与硬件隔离的多重角色。
这带来了一个核心矛盾:MoAI将数据留在本地,提升了隐私安全性,但同时也将模型部署到了本地,扩大了模型与推理过程被接触、分析、篡改的风险。研究指出,攻击者可以通过反编译、设备端内存dump、运行时hook等手段,提取端侧模型与推理相关的信息。一旦模型被攻击者获取,后续可能出现对抗攻击、后门注入、参数级篡改、模型窃取,甚至专门消耗设备算力、拖慢推理速度的能耗攻击。
以真实场景为例,某交通驾驶助手应用将交通标志识别模型部署在手机端,攻击者可以先通过逆向分析提取模型,随后植入后门并设计对应的触发器,让模型在真实道路环境中对特定交通标志产生错误识别,比如将停车标志误判为可通行或加速提示。此时,攻击带来的风险已经不再局限于模型知识产权泄露,而是直接威胁到用户的出行安全。
这篇综述并非单点攻击研究
该研究的定位是系统性知识梳理(SoK),它并没有提出新的单点攻击方法,也没有发布单一的防御工具,而是试图回答一个更基础的问题:MoAI安全应该如何被定义、拆解与研究?
作者指出,现有的相关综述更多关注边缘AI、TinyML,或是MoAI中的模型窃取问题,但MoAI并不仅仅等同于「在移动设备上运行模型」,也不只是「模型文件会被窃取」。它是传统移动软件组件与本地神经网络组件的结合体,攻击面贯穿用户输入、模型工件、运行时环境与硬件层。
因此,研究从移动系统的整体视角出发,构建了一个统一的研究框架:先将MoAI系统拆解为四个核心层级,再定义三大安全支柱,随后系统梳理攻击图谱、防御图谱、跨支柱关系、开放问题与未来研究方向。这篇综述更像是一张「安全地图」,不仅标注了已经被研究过的攻击与防御领域,更指出了当前尚未被充分覆盖的安全空白。
四层架构拆解
研究首先将MoAI系统拆解为四个核心层级:
第一是输入接口层:涵盖摄像头、麦克风、用户交互、应用上下文、平台API、数据格式适配与预处理流程。模型最终接收的并非真实世界的原始数据,而是经过这一层处理后的张量、标记符或结构化输入。
第二是AI模型工件层:这是MoAI的核心资产,包含模型结构、训练权重、算子、输入输出规格、标签、词表与分词器等。模型经过量化、剪枝、聚类或格式转换后,会被打包为适配移动端的部署文件。
第三是运行时执行层:负责将模型工件真正落地运行,包括加载模型、准备输入输出张量、管理中间缓存、调度CPU/GPU/NPU等后端算力,并根据内存、兼容性与算子支持情况做出执行决策。
第四是硬件隔离层:MoAI既可以在普通移动操作系统环境中运行,也可以部分或全部进入TEE、TrustZone等硬件支持的隔离环境,这一层决定了模型权重、中间张量与敏感推理状态是否会暴露给不可信组件。
这个四层拆解非常关键,因为MoAI的安全问题并不只局限于模型文件本身:输入可能被污染,预处理逻辑可能被篡改,模型可能被窃取,运行时可能泄露中间状态,甚至硬件加速路径也可能成为侧信道攻击或可用性攻击的入口。
三大安全支柱
在四层架构的基础上,研究提出了三大安全支柱,对应MoAI安全需要回答的三个核心问题:模型接收的输入是否可信?部署在设备上的模型是否可靠?模型运行的环境是否安全?
第一支柱:用户可控输入完整性:移动设备的输入来自用户、传感器与应用上下文,攻击者可能篡改摄像头画面、注入恶意噪声、污染应用上下文或修改预处理逻辑,保护这一支柱就是守护模型接收的输入内容。
第二支柱:设备驻留模型安全性:端侧模型发布到用户设备后,就脱离了开发者的可控边界,模型结构、权重、参数与执行图都可能被定位、提取、修改或复用,保护这一支柱就是确认模型本身的身份与完整性。
第三支柱:设备原生环境约束:模型推理运行在移动操作系统、AI运行时、内存子系统与硬件加速器组成的复合环境中,如果隔离机制失效,解密后的模型缓存、中间张量与运行时状态都可能被攻击者观察或操控,保护这一支柱就是确保模型运行环境的安全性。
这三大支柱将MoAI安全从单纯的「模型保护」升级为「端侧智能链路治理」,提醒开发者:仅仅对模型文件进行加密并不足够,输入保护、运行时安全与硬件隔离同样是安全边界的重要组成部分。
五类典型攻击
针对MoAI的威胁,研究按照攻击者能力与操控位置分为三类,并梳理出五类典型攻击手段:
1. 对抗攻击:攻击者利用端侧模型可被逆向分析、相似模型可复用、梯度可重构或预处理可篡改的特征,构造会让模型输出错误结果的输入。与云端黑盒API不同,端侧部署让攻击者更容易获取模型与预处理细节。
2. 后门攻击:攻击者希望模型在正常输入下表现正常,但在出现特定触发器时输出预设的错误结果。端侧场景中的后门并非来自训练阶段,而是通过Payload注入、量化过程或图像隐写等方式植入模型。
3. 对抗权重攻击:这类攻击直接修改模型参数,让模型行为发生偏移,同时尽可能保留普通输入下的正常性能。比如TYPHON这类新兴攻击方向,不再仅通过篡改输入欺骗模型,而是直接修改模型的理解逻辑。
4. 模型窃取攻击:端侧模型存储在设备本地,天然存在知识产权泄露与下游滥用的风险。攻击者可以通过静态分析查找.tflite、.pb、.mlmodel等模型文件,也可以通过动态分析在模型加载或解密后从内存中提取模型,还可能利用功耗、缓存等侧信道推断模型结构。
5. 能耗时延攻击:这类攻击不一定改变模型的预测结果,而是通过消耗更多算力或拖慢执行速度,破坏端侧推理的可用性。在资源受限的移动设备上,延迟、功耗与稳定性本身就是重要的安全目标。
这五类攻击共同说明,MoAI的安全风险并非单点问题,而是一条贯穿输入、模型、运行时与硬件的完整链路。
四类核心防御策略
在防御层面,研究将MoAI的安全目标建立在传统CIA三元组(机密性、完整性、可用性)之上,还新增了适配端侧场景的「部署后问责性」目标:由于端侧模型发布后可能被提取、复制、转换与复用,即使事前防护失效,开发者也需要在事后证明模型所有权,追踪未经授权的复用。
研究总结的四类防御策略可以概括为「挡、绑、隔、追责」:
模型混淆(挡):通过重命名、参数封装、结构变换、算子耦合、原生代码生成或结合硬件加速等手段,提升模型被定位、理解与恢复的难度。
模型授权(绑):将模型的正确推理能力与特定应用、签名、密钥或完整性验证绑定,即使模型被窃取,没有正确的授权上下文也无法正常运行;模型被篡改的话,也会在推理前被检测出来。
硬件隔离(隔):将全部推理流程、部分关键层或敏感模型组件放入硬件隔离环境中执行,让普通操作系统、恶意应用与攻击者无法观察到模型权重与中间状态。
模型水印(追责):不一定阻止模型被窃取,而是在模型被复制或复用后,通过黑盒查询或特定触发行为证明模型归属,为端侧模型的知识产权保护提供事后证据。
需要注意的是,所有防御机制都会带来一定的性能开销,MoAI安全的核心难点正在于在安全收益、性能消耗与实际可部署性之间找到平衡。
核心开放问题
这篇综述最值得关注的部分,在于它并没有将MoAI安全写成一个已有成熟答案的领域。相反,作者将大量研究从实验室场景拉回真实的移动设备部署环境,指出了诸多核心开放问题。
从攻击侧来看,很多攻击方法在实验室条件下可以成立,但要真正部署到普通用户的设备上,需要满足诸多强假设。比如操控用户输入、重新打包应用、精准定位关键模型权重、绕过定制化加密,或是让能耗攻击跨硬件栈稳定生效,这些都极具复杂性与挑战性。
从防御侧来看,很多防护措施看似可以保护模型文件,但在授权推理、客户端执行、运行时恢复、硬件集成或模型重新部署的过程中,可能会暴露出新的安全缺口。MoAI的防御不仅要「能防」,还要能够在真实的移动生态中完成部署、升级、兼容与验证。
未来研究方向
研究最后将未来的安全研究方向聚焦在三个正在发生的行业变化上:
第一是端侧训练:现有的MoAI安全研究大多关注只读、仅支持推理的已部署模型,但未来模型可能会在用户设备上进行微调与个性化更新。此时,梯度、参数更新、训练样本与用户数据都会在运行时暴露,攻击面将从「推理安全」扩展到「训练安全」。
第二是端侧生成式AI:过去的端侧AI安全研究大多集中在计算机视觉与图像分类任务上,随着手机端大语言模型与图像生成模型逐渐普及,安全问题将延伸到提示词注入、模型越狱、敏感信息泄露、幻觉输出与本地上下文滥用等新领域。
第三是Agentic MoAI系统:这可能是最具挑战性也最值得研究的方向。未来手机中的AI不再只是被动回答问题,而是可以读取应用上下文、访问传感器、调用系统服务、跨应用执行操作,甚至维护记忆与制定计划。
当MoAI进入Agent形态后,安全问题将不再只是「提示词能否欺骗模型」,而是「从上下文到行动」的完整链路能否被保护。研究提出,未来需要建立移动上下文来源追踪机制,区分可信用户意图与不可信环境内容,将工具与API调用绑定到任务级权限,并为敏感操作加入确认、回滚与审计机制。简而言之,Agentic MoAI时代的安全,不再只是给模型增加几条规则,而是要为手机中的AI执行能力建立一套操作系统级、应用级与用户级共同参与的治理体系。
结语
MoAI的出现,本质上是用户体验、隐私保护与计算能力共同推动的结果。它让AI不再永远依赖云端,也让移动设备从「智能服务入口」转变为「智能服务的发生地」。
但这也意味着,过去由云端数据中心承担的安全边界,被重新划分到了用户设备、应用、模型文件、AI运行时、移动操作系统、硬件加速器与用户上下文之间。安全边界越分散,默认信任的风险就越高。
这篇综述的价值,并不在于宣告MoAI已经足够安全,也不在于制造对端侧AI的恐慌。它真正的贡献是绘制了这个新兴领域的安全战场地图:标注了核心资产所在、攻击入口位置、已有防御措施以及尚未被覆盖的空白区域。
当AI从云端走向每一台移动设备时,安全研究也必须从「保护一个远程模型服务」转向「治理一条端侧智能链路」。这或许正是下一代移动AI系统能否真正实现可信可靠的起点。

