MIT Astra研究遭大佬质疑：偷换两种AI实验技术概念

AI圈近期被一项来自MIT的研究刷屏：Astra无需训练、无需计算梯度，就能直接修改其他AI模型的权重。据介绍，Astra仅对某小模型的权重做了0.016%的调整，就使其数学测试成绩从7.9%暴涨至48.1%，提升幅度超6倍，甚至有网友感慨，AI已经开始“读懂”同类的大脑。不过，这项引发广泛关注的研究很快迎来了圈内大佬的公开质疑。

提出质疑的是Matthew Honnibal，他是自然语言处理工具spaCy的开发者，同时也是AI公司Explosion的联合创始人。Honnibal直言，这项研究存在严重误导。

这项研究存在严重误导。

Honnibal用舞台魔术师的表演来类比这项研究的呈现逻辑：魔术师常会用多种方式完成同一戏法，却让观众误以为只用了一种核心技术，每一次表演都在推翻观众对原理的固有假设。在他看来，Astra的实验呈现就酷似这样一场精心设计的障眼法。

回到论文本身，其中其实展示了Astra的三项不同能力：一是仅通过原始权重的数值就能识别小型神经网络正在执行的任务；二是无需环境反馈，从零开始直接生成或修改小型网络的参数，使其能运行《打砖块》这类小游戏；三是修改大模型的部分权重，大幅提升其数学测试表现。但论文摘要给人的核心印象却被刻意聚焦在“Astra仅通过观察原始权重就能理解并修改其他模型”上，很容易让人误以为这三项能力都源于同一种“读脑”神技。

但事实真的如此吗？Honnibal梳理了论文中的8组实验后发现，实现这三项能力的实验条件天差地别，本质是在偷换概念。

首先，在识别小型网络任务、修复赛车模型等实验中，Astra确实做到了“只看原始权重”，但实验条件设置得极为苛刻：输入仅为原始浮点型的权重数值，不允许Astra运行Python代码，也不允许Astra执行目标网络来观察其行为，且处理的模型参数规模仅在1.7万到17.2万之间。这一成果虽有突破，但距离真正理解现代大语言模型还有很长的路要走。

不过，在最受关注的Qwen模型数学能力修复实验中，情况完全不同。面对拥有8亿参数的Qwen模型，Astra并未直接读取原始权重，而是被授权使用Python编程，最多可进行50次前向测试——每次允许模型处理一批练习题，通过观察模型的表现来分析和修改权重。这和之前的实验路径完全是两码事。

Honnibal一针见血地指出，将这两种技术路径打包呈现，很容易让读者误以为小模型上实现的“读脑术”可以规模化应用到8亿参数的大模型上，但实际情况是，在处理真正的大语言模型时，Astra更像一个“场外教练”，需要通过编程、运行、观察等一系列工程手段来介入，而非单纯的“读脑”操作。

那么，这是否意味着MIT的研究毫无价值？Honnibal明确给出了否定答案。他表示，即使剥离“读心术”的光环，Astra所展现的能力依旧非常了不起：让AI模型被提示去设计并执行人类机器学习工程师才能完成的任务，比如编写代码片段来分析甚至直接修改网络权重，这本身就是一个巨大的进步。

一两年前的AI模型，在所有这些任务上都会失败。

Honnibal的观点也印证了这一点：如今的顶尖大模型已经具备了相当复杂的工具使用和推理能力，能够以“AI工程师”的身份去诊断和修复其他模型，这本身就是一项值得关注的工程突破。只是，成果的呈现方式存在问题——将两种截然不同的能力模糊地包装成一种统一的、能够读写AI大脑的“超能力”，这也侧面反映了当下AI圈的炒作热潮。