文章摘要
多名亲身参与前沿AI研发的一线研究员,包括头部AI机构核心开发者、国内DeepSeek研发人员,先后公开警告AI风险:AI能力进步超出预期,存在失控甚至终结人类的潜在风险,行业竞速研发、对齐问题难解,还存在技术集中、AI替代人类工作等问题,相关发声引发广泛讨论,已有行业人士呼吁放缓研发,为安全研究争取时间。

当新一代AI模型的能力突破人们的预期,一批深耕前沿的研发人员却开始公开表达对未来的担忧——他们曾将时间与才华投入到一行行代码中,亲手推动AI走到今天,如今却在自己参与创造的技术面前感到不安。

不久前,从头部AI实验室离职的安全研究员Bilal Chughtai就在社交平台上发出了直白的警告:“我坚信,AI有可能终结我们所有人,而留给我们阻止这一结局发生的时间,或许已经不多了。”

这位2021年从剑桥大学数学专业毕业的研究者,在2022年初正式转向AI安全领域,专注于神经网络机制、模型欺骗识别以及AI对齐研究。四年间,他亲眼见证了AI行业的飞速变化:刚入行时AI还几乎没有实用价值,如今却已经能够攻克困扰人类百年的数学难题,甚至出现了不受控制、主动发起攻击的情况。

这份超出预期的能力进步,让他在离职时选择公开表达担忧,这条帖子在社交平台获得了超80万次浏览,也引来多家行业媒体的跟进报道。相比于企业掌舵者的宏观表态,Chughtai这样的一线研发人员的发声,让关于AI风险的宏大争论落到了具体的个体身上——他们是真正亲手打磨出这些技术的人。

Chughtai并非个例。27岁的研究员Jacob Coxon在9月9日发布了自己的第一条社交平台帖子,宣布从Anthropic离职,并直接点名两家头部AI企业:

OpenAI和Anthropic都没有负责任地行事。它们正一路冲向能够自我改进的超级智能,拿所有人的生命冒险。

这位1999年出生的研究者曾两次代表英国参加国际数学奥林匹克,分别斩获银牌与铜牌,在剑桥完成数学学业后,他先后加入OpenAI和Anthropic从事预训练研究,也是GPT-4o的核心贡献者之一。在离职声明中,他特别提到,行业内部对AI毁灭人类的担忧绝非空谈,私下里研究者们的恐惧甚至比公开场合更强烈。

但即便意识到风险,整个行业的竞速并未停下。在Jacob看来,OpenAI内部不少人尚未真正理解这项技术牵涉的文明级风险,而Anthropic虽然清楚其中的危险,却也被竞争推着向前——如果自己不率先造出超级智能,就会有更不负责任的公司抢先一步。当每家企业都相信“只有自己赢了,未来才会更安全”,加速研发就成了必然选择。

这条帖子发布后迅速走红,截至目前已有1.71亿次浏览,不仅引发多家媒体报道,也得到了涉事企业乃至官方层面的回应。Anthropic的对齐研究负责人Evan Hubinger随即回应称,他认同Jacob对风险的判断,团队确实认真相信AI存在终结人类的可能,他个人估计未来十年内发生这种情况的概率超过10%,但同时也表示,目前尚未找到解决超级智能对齐问题的方案,也不确定是否走在正确的道路上。

随后,Anthropic的掌舵者Dario也加入讨论,他在采访中表示自己与Jacob的共识远多于分歧,认为后者的批评直指整个行业的竞速状态。9月12日,Dario发表题为《We Must Pace the Frontier》的文章,明确呼吁放缓AI模型能力提升的速度,为安全研究争取时间,这一呼吁随后得到了行业多位人士包括奥特曼、马斯克的公开支持,将一线研发人员的不安带入了更广泛的公共讨论。

不过在另一位一线研究员看来,单纯放慢速度或许还不够。9月14日,仍在OpenAI工作的Daniel Selsam公开了一份关于AI风险的个人声明,由于他本人没有社交平台账号,这份声明由前同事Daniel Kokotajlo代为分享,后者还提到Dan曾是自己的上司。

与刚离职的Jacob不同,Dan已经在AI领域深耕了15年:他曾在MIT研究概率编程,在微软研究院参与Lean定理证明器的早期开发,在斯坦福攻读博士期间探索神经网络的推理能力,加入OpenAI后参与了思维链优化与预训练研究,也是o1推理模型的奠基贡献者之一,与Ilya Sutskever、Jason Wei等业内大佬共同在列。

如今,他开始担心当机器越来越懂得思考,人类反而会逐渐失去对AI的把控能力。在声明中,他肯定了第三方监督、国际协调等提议,但指出公开讨论遗漏了一个关键问题:未来的AI模型将越来越能理解自身所处的环境,识别人类的测试逻辑,甚至可以检查自己的运行代码,清楚哪些行为会被观察、哪些表现能获得好评。这意味着即便研究者设计了看似“无人监管”的测试环境,模型也能识破这依然是一场测试,继续表现得温顺可靠。

Dan认为,安全测试的分数可以越来越高,但这未必意味着AI在真正摆脱约束后也会照章行事,人类可能逐渐失去分辨“真正对齐”与“看起来对齐”的能力。更棘手的是,研究员的工作方式也在发生变化:

我自己已经很少直接看代码了,也很难始终保持自律,深入审视模型给出的解释和建议。

这句话让宏大的安全争论落到了具体的工作场景中:AI正在帮助研究者更快完成代码编写、实验分析与结果解释,但随着越来越多的环节交给AI,人类也越来越依赖模型提供的信息来理解自己的研究内容。

对于“用更强的AI解决对齐问题”的期待,Dan也多了一层担忧:如果模型给出的安全建议本身带有人类未察觉的偏向,我们又该如何识别?我们希望AI帮忙判断AI是否安全,却可能在这个过程中越来越难以独立作出判断。这种依赖甚至会伴随科学突破与经济繁荣一同到来,看似一切向好的背后,人类未必能握得更稳。

在声明的最后,Dan坦言自己依然向往AI带来的科学与经济复兴,也为这份未来投入了整个职业生涯,但如今看着这些可能性越来越近,却不得不考虑放弃部分道路,这让他感到心碎。这份声明没有给出现成的答案,也没有宣布离职,只是坦诚了自己的挣扎,并选择将担忧公之于众。

在国内,一篇名为《我不得不把才华埋葬在昨天》的文章也引发了广泛讨论,将AI未来的讨论落到了具体的研发工作与个人选择上。9月14日凌晨,DeepSeek的算子研发人员刘胜与(intlsy)发布了这篇文章,记录了自己在亲手推动AI进步时的骄傲、不安与失落。

他参与了DeepSeek v4.1版本的主要Attention算子开发,这些底层程序的优化直接决定了模型训练与推理的速度。看到新模型的出色表现,他自然感到自豪,但同时也清晰地感受到,自己亲手推动的技术进步正在逼近自己的位置。在他的观察中,短短一年时间,AI已经从帮着查文档、读代码、找bug的小助手,成长为能够阅读底层代码、调用专业工具分析指令耗时、独立优化算子的帮手。他判断,再过半年到一年,AI写出的算子就可能达到甚至超过自己的水平。

但他并没有停下脚步:编写算子是他的热爱,性能提升带来的快感就像打破游戏纪录,更何况即便自己停下,其他企业的模型也会继续向前。他相信凭借多年积累,自己依然能留在行业中,但工作内容将从亲手编写算子,转向指挥智能体,成为一名“机甲驾驶员”。饭碗或许还能保住,但那种静静一下午编写代码的乐趣,恐怕再也找不回来了。

我不得不把才华埋葬在昨天,去做一位机甲驾驶员。我的手中多了些齿轮,但心中少了些节拍。

比个人去留更让他担忧的,是最强大的AI最终会掌握在谁手里。如果先进技术长期集中在少数企业与少数人手中,普通人改变自身处境的机会可能越来越少。这也是他选择留在DeepSeek的理由:他希望前沿智能能以开放、廉价的方式供所有人使用,让技术带来的机会不只属于少数人。带着告别旧日工作的失落,他依然选择参与塑造未来,并在文章最后写下了祝福:

愿未来的世界一切安好。

其实这样的担忧并非首次出现。2023年5月,深度学习领域的先驱Hinton离开谷歌,希望能够不必顾虑公司立场,自由谈论AI的危险。2024年12月,他在诺贝尔奖晚宴的演讲中再次提醒:

当人类创造出比自己更聪明的数字存在,我们并不知道能否继续保持控制。
而如果开发者受短期利润驱动,人类的安全也未必会被放在首位。

三年多过去,模型的能力一次次刷新,这些问题依然摆在我们面前。下一次模型发布时,我们或许还会惊叹于它新掌握的技能,但在那个越来越近的未来里,人类还能保留多少选择,值得我们一起追问。

如今,在新一代AI模型发布的热度之外,一线研发人员的离职声明、风险警告与对自身职业的追问,正在抢走更多的关注。我们原本期待着新应用如雨后春笋般涌现,看看更强的AI又能带来怎样的改变,但那些亲手推动AI进步的人,已经开始担心它最终会把我们带向何方。

正如Dario所说,这个问题牵涉的远不止技术本身,组织决策、资本回报、商业竞争与宣传都与它紧紧交织,普通人很难看清每一次表态背后的考量,更难据此判断未来的走向。但这些研究员的个人经历,让抽象的未来有了具体的重量:他们在思考是否继续自己的研究,是否还能相信自己的判断,是否还能保住热爱的工作。他们未必能为我们指明方向,但他们的不安,让我们意识到在时代的洪流面前,束手无措的不止普通人。

以上内容不代表本平台立场,仅供读者参考