可解释性研究新发现:神经网络本就干净

神经网络的可解释性新认知
近期有研究人员提出,神经网络的内部结构其实比普遍认知中更容易理解,过往被认为“杂乱无章”的经典案例,问题往往出在研究工具、网络架构或解释方法本身,而非网络本身的特性。
提出这一观点的是长期从事可解释性研究的专家,他曾在知名AI研究机构工作,参与过经典的电路研究项目,也主导过用大语言模型自动解释神经元的相关工作,目前专注于神经元与电路的研究。他将可解释性称为当前AI领域最重要的科学问题之一,认为如果无法理解所构建的模型,就难以解决模型对齐的核心挑战。
关于研究路线的选择,他更倾向于直接研究网络本身已学到的神经元、连接关系与信息流,而非先将网络拆分为更“干净”的特征再进行研究。他的研究材料也从静态的案例,扩展到了网络重训练、中间层压缩以及基于智能体的解释预测与干预测试。
重新审视经典案例的偏差
曾有一个经典案例:某个神经元同时对猫脸和汽车正面产生响应,这一现象曾让研究者怀疑,网络为节省空间将不相关概念强行合并。但重新分析后发现,猫脸、狐狸尖嘴、特定角度的车头,其实共享着尖形结构;而该神经元负向响应的区域,多为圆形物体。用物体名称标签神经元反而掩盖了这种形状关联。
另一个类似案例是“汽车信息进入狗神经元”,过往认为汽车信息被隐藏在狗神经元中等待后续读取,但重新追踪发现,并没有下游电路读取这种组合;汽车路径中包含的是汽车本身以及汽车与狗共享的姿态特征,可视化工具的优化过程放大了这种误解,让狗特征被过度强化,看起来像是“汽车藏在狗里”。这种拆分神经元的方法,反而会丢失尖形与圆形的关键区分。
工具与网络架构的双重调整
研究人员将观察神经网络内部的工具比作“显微镜”,早期的特征可视化工具常生成迷幻图案,让网络显得难以理解。但优化方式的改变,能让同一神经元从纹理化图案变为可对应真实物体的形态。
对不同版本网络与工具的可解释性估计显示:旧版本网络配合早期工具,可解释神经元比例仅约0%-5%;同一网络配合更好的工具,比例提升至约50%;原架构结合现代正则化重新训练后,比例达约70%;同等参数规模的新架构网络,可解释神经元比例高达约99%。这些架构设计原本是为了优化深层网络学习,却意外让神经元更易解读,比如某款新架构中的瓢虫神经元,在数万张图片的最强响应中能清晰看出共同模式。
容量压缩后的学习模式
当神经元数量减少时,是否会出现无关概念强行合并的情况?研究人员做了实验:将某网络的中间层从480个神经元压缩到10个,重新训练后,模式变得更宽泛,比如原先的多种曲线合并为“曲线与环”神经元,圆、斜边、黄色、眼睛等特征也各占一部分。这种容量压力下的归类是宽泛的组合,而非随意的混合,稀疏自编码器尝试恢复细分特征时,仍得到的是宽泛的聚合模式。
这一现象对应了“递归泛化”概念:神经元原本对特定模式响应,之后扩展到相关模式,再延伸到看似无关的模式,每一步都有局部关联可追踪,最终却难以用最初的标签概括。两种解释的分歧在于:这些模式是因关联聚合,还是因极少同时出现而互不干扰,前者可沿训练与连接追踪,后者才是需避免的随意打包。
神经元的信息门控作用
研究人员对神经元的理解从“代表某个概念”转向“控制信息通过”。比如汽车和狗在早期层因姿态共享路径,后续判断时需区分,某个神经元会对汽车正向响应、对狗负向响应,以此分隔两条路径。负向响应并非反义词,而是此时需排除的信息,后续还会区分不同类型的车辆。
在语言模型中,神经元的响应位置也很关键:某个神经元最强激活在逗号位置,实际是追踪前文积累的特定信息,仅看附近的词会错过其含义。门控结构也会带来噪声,现代语言模型中的门控分支与数值分支相乘,会导致部分神经元的响应性质混淆,需区分两种工作模式。还有些看似混合不同语言或编码的神经元,解码后会发现共同的基础模式。
基于智能体的解释测试
研究人员用智能体测试解释的有效性:第一个智能体给出神经元解释,第二个智能体仅根据解释生成能让神经元强激活的文本,再送回模型测试。结果显示,生成的文本比语料中的样例激活更强。
进一步测试中,对200个神经元,智能体生成的应触发文本强激活比例达76%,易混淆反例仅11%,无关概念仅约1%。部分解释可能在部分测试中得分高,但需检查新输入、负向响应与上下游连接,验证解释的全面性。
“干净”的真正含义
研究人员所说的“干净”,是指网络各部分形成可被下游读取与组合的组织方式,研究者需学会解读这种组织,而非要求每个神经元对应人类熟悉的概念。这种思路让他更看好直接研究原网络的路线,通过改动一处看判断变化,用周围连接约束新解释。
目前仍有部分神经元无法解释,注意力机制的研究也较浅,万亿参数模型的全面审计尚未完成。近期还有相关配套研究,检验神经元的稀疏性、计算作用与自然语言描述的预测能力。

