ICLR 2027评审引吐槽：要解释标准差、AI评语太敷衍

近期，机器学习领域顶会ICLR 2027的首轮评审意见陆续公开，这一消息在AI圈引发了不小的讨论，甚至成为一场关于同行评审现状的吐槽现场。

对论文作者而言，等待评审的过程本就充满紧张——数月甚至数年的研究成果要接受同行的严格检验，审稿人会逐一核查方法、实验和理论推导，指出真正存在的问题。但今年的评审意见却出现了不少让人哭笑不得的情况。

加州大学伯克利分校的研究者Hanchen Li分享了他遇到的一件事：他收到的评审意见中，审稿人要求作者解释什么是“标准差”，这让他忍不住调侃，仿佛回到了高中课堂。目前无法确定审稿人是希望补充统计定义，还是对论文中的具体用法有疑问，但这条帖子已经在研究者中引发了广泛讨论。

另一位研究者Ravid Shwartz Ziv展示的评审意见更具喜剧效果：他贴出的三位审稿人的意见中，前两位的内容几乎完全一致，都是说论文写得不错、解决了重要问题，但需要补充更多基线实验；第三位的意见则突然出现了AI生成文本的典型开场白，直接附上了“当然！这是对论文的评审”，之后才进入正式内容，连AI对话的痕迹都没有清理干净。

还有研究者Konstantin Grotov遇到了和AI辅助写作相关的评审问题：他的论文已经按照要求披露了AI辅助写作的情况，但审稿人还是针对AI使用提出了质疑。Grotov认为，审稿人可以对AI使用提出疑问，但必须拿出具体的技术论据，说明这种使用如何影响了论文的质量、研究结果或可信度，仅仅因为使用了AI就将其作为拒稿理由，显然不够充分。

更微妙的情况来自研究者Artur Chakhvadze分享的评审意见：审稿人坦承自己不具备足够的专业背景，无法很好地评估这篇论文。Chakhvadze对此反而表示认可，他认为至少这位审稿人诚实地承认了自己的能力边界，还吐槽自己见过不少评审连论文所属领域的基础知识都没弄明白，却依然给出高信心评分。不过也有研究者提出疑问：既然专业背景不匹配，为什么这篇论文一开始就会分配给他？Chakhvadze补充说，审稿人本人未必有错，真正值得质疑的是分配和管理评审的流程。

这些案例反映出不同类型的问题：有的审稿人没有充分理解论文，有的可能依赖AI生成评语，还有的被分配到了自己不熟悉的研究方向。这些问题最终指向同一个核心：作者拿到的评审意见，到底能不能真正帮助学术判断？

在讨论中，德克萨斯大学奥斯汀分校的Jiaxin Pei提出了一个值得关注的观点：AI参与审稿时，似乎分不清论文的“局限性”和真正影响论文成立的“关键问题”。他认为，大语言模型可以轻易找出一篇论文的上百个局限性，即使是最优秀的论文也不例外，但这并不意味着这些论文就不该被接收。

Jiaxin Pei指出，一篇科研论文几乎不可能做到面面俱到，实验规模有限、某些场景未覆盖、方法依赖特定假设等都是正常的研究局限。真正决定论文是否成立的，是这些局限是否动摇了它的核心贡献。审稿人可以要求增加更多数据集或对照实验，但如果现有实验已经足以支撑核心结论，额外实验就未必构成拒稿理由；反过来，如果论文的关键实验设计存在漏洞，即使其他部分再完善，也可能无法成立。

Jiaxin Pei认为，大模型容易混淆“局限”和“关键问题”，可以不断列出潜在问题，却未必能判断哪个问题真正影响研究结论，导致评审意见越来越长，真正决定论文质量的核心问题反而被淹没。他的观点引发了不少研究者的共鸣，有人指出这种问题正在渗透到同行评审机制本身——如今每场AI学术会议上，都有一批审稿人一边给出较低评分，一边要求作者补充无关紧要或仅小幅增补的实验。

有研究者提出了一个判断标准：如果修复某个问题，论文的核心结论会发生变化吗？如果答案是否定的，那它只是普通的局限性，而非足以否定整篇论文的关键缺陷，这正是同行评审最需要的能力：知道什么值得关注，什么可以接受。

ICLR 2027项目主席团队此前专门分析了AI时代同行评审面临的新压力：机器学习领域近年来增长迅速，新进入者数量远超资深研究者，具备专业评审能力的人手可能跟不上投稿增长；生成式AI又降低了论文生产门槛，不熟悉领域的人也能借助AI生成看似合格的稿件；同时，审稿人将评审工作交给AI也成了新问题。

为缓解评审资源紧张，ICLR 2027推出了一系列措施，包括限制投稿数量、强化互惠审稿制度等：署名在3篇及以上投稿中的作者，必须至少完成6篇论文的审稿；每篇投稿至少需要有一位具备资格的作者注册为审稿人，承诺评审至少3篇论文；如果所有作者都不具备资格，则可豁免。

在AI使用方面，ICLR允许审稿人有限度、负责任地使用AI辅助撰写评审意见和元评审，但要求审稿人必须披露AI使用情况；如果使用大模型生成或修改评审意见，还需提交自己最初独立撰写的评估，以及与大模型的全部交互记录（包括各轮输入内容）。如果AI生成的评审包含虚假信息、幻觉或失实陈述，或评审本身质量低下，审稿人可能因未履行义务受到纪律处分，包括拒稿其全部投稿或限制未来投稿。

目前公开的只是ICLR 2027的首轮评审意见，作者与审稿人的公开讨论将持续到11月18日，最终录用决定预计在12月16日公布，作者仍有机会针对错误评审提出质疑，审稿人也可根据新信息修改评分。