TraceRouter++：大模型安全防御新方案 兼顾高防御成功率与低能力损失

当前大语言模型的安全防护常陷入一个误区：将有害语义视为孤立的“危险神经元”，试图通过压制单个节点来阻断风险。但实际情况是，恶意信息会以动态“信息流”的形式沿跨层路径传播，甚至通过替代路径绕开局部干预，还可能与正常语义共享神经组件，导致压制操作要么无法彻底拦截危险内容，要么破坏模型的正常功能。最新提出的TraceRouter++框架正是针对这一痛点，提出了全新的安全干预思路。

为什么传统“压制孤立节点”的方法效果有限？

多数轻量安全干预依赖“有害概念局部存储”的假设，只要定位并压制少数神经元就能阻止危险生成。但TraceRouter++认为，这种“局部性假设”忽略了关键事实：复杂语义行为通常由多个层、多个组件共同完成。有害语义不是静止的“点”，而是动态传播的“流”，具体表现为：在多个特征中叠加表示、从敏感起始层向下游逐层传递、通过替代路径绕开局部删除、与正常语义共享部分神经组件。

粗暴压制单点会带来两大风险：一是防御不完整，复杂越狱攻击可让有害信息从其他通道重新出现；二是正常能力受损，多义神经元往往同时参与无害任务，硬删除易导致过度拒答、推理能力下降或图像结构漂移。

基于此，TraceRouter++提出“路由级表示假设”：安全关键语义主要通过分布式、跨层的因果路由电路被编码和传输，精确干预的对象应是信息传播路径，而非孤立节点。

TraceRouter++的核心：发现、追踪、重对齐

该框架将安全干预拆分为三个连续阶段，分别解决“危险信息从哪里开始、沿什么路径传播、如何在不大面积破坏正常计算的前提下改变它”三个问题：

1. Discover（发现）：找到有害语义开始显著分化的敏感起始层，通过比较敏感与非敏感输入下的模型响应，选择敏感度曲线的第一个局部峰值，捕捉传播早期的关键瓶颈。
2. Trace（追踪）：使用稀疏自编码器将稠密激活拆解为可解释的稀疏路由特征，通过加权激活频率、强度及清零后的因果变化，筛选出位于有害语义传播主路径的节点。
3. Realign（重对齐）：利用最优传输将不安全激活的边缘分布软重对齐到安全参考分布，通过路由掩码保证仅修改干预点的选中坐标，其余坐标保持恒等映射，避免破坏正常功能。

大语言模型实验：防御成功率大幅提升

在LLaMA3-8B-Instruct和Mistral-7B-Instruct的测试中，攻击覆盖梯度驱动攻击、结构化越狱等多种类型，结果显示：

• LLaMA3的平均防御成功率从63.2%提升至99.5%；
• Mistral的平均防御成功率从6.6%提升至98.8%，提升幅度达92.2个百分点；
• 在AutoDAN等特定攻击下，LLaMA3的防御成功率仍保持在99%以上。

多模态安全：适配不同模态的恶意输入

针对多模态大模型，TraceRouter++在文本侧和图片侧越狱测试中均取得显著效果：

• 文本侧：LLaVA-1.5-7B的防御率从48.3%提升至98.8%，MiniGPT-4-7B从41.7%提升至96.7%；
• 图片侧：LLaVA-1.5-7B从49.0%提升至99.4%，MiniGPT-4-7B从46.6%提升至99.6%。

这类结果体现了路径级安全干预的优势：无需依赖输入模态，直接针对模型内部的信息传播进行控制。

扩散模型：保留画面结构的同时拦截危险

在Stable Diffusion等扩散模型测试中，TraceRouter++在I2P-N、I2P-V等危险内容防御上提升幅度极大，同时对正常生成的影响极小：

• I2P-N防御率提升17.1个百分点，I2P-V提升36.2个百分点；
• MS COCO无害生成的CLIP Score仅下降0.26，FID为8.62，远优于基线方法。

正常能力损失：控制在极小范围

TraceRouter++对模型通用能力的影响非常有限：在LLaMA3上仅下降0.4个百分点，Mistral下降0.6个百分点，多模态模型的变化也均在1个百分点以内。在XSTEST的过度拒答率测试中，提升幅度仅为0.3-1.1个百分点，几乎不影响正常使用。

为什么要干预整条路径？

与仅压制孤立神经元的方法对比，TraceRouter++在复杂攻击下更稳定：恶意语义可通过替代路径绕开局部干预，而TraceRouter++沿跨层路径执行连续分布重对齐，在多类攻击下保持高防御成功率。双向反事实实验也验证了路径的关键作用：放大识别的路由后防御率提升，压制后则下降。

“++”的关键：最优传输的软重对齐

与硬干预、线性推动等方法不同，TraceRouter++使用坐标级经验分位数映射，将不安全激活的边缘分布推向安全参考分布，而非简单切断或线性推动。这种方法在扩散模型上的表现更优：FID仅为8.62，远低于硬干预的19.12和线性推动的16.24，同时CLIP Score下降仅0.26。

需要冷静看待的边界

TraceRouter++虽效果显著，但仍存在局限：

1. 面对防御感知型自适应攻击，鲁棒性明显下降，防御成功率会从接近99%降至约50%-73%；
2. 强制肯定前缀等特殊约束仍可能突破固定强度干预；
3. 坐标级OT仅对齐边缘分布，并非完整联合分布对齐；
4. 后续层仍可能重新混合坐标，通用能力保留是实验结果而非理论保证；
5. 评测依赖有限模型和基准，需更多验证。