文章摘要
OpenAI目前已借助AI加快下一代GPT模型研发,CEO奥特曼近期公开表示,出于安全考量暂不推进无监督的递归自我改进,拒绝将技术发展决策权交给AI。为防控风险,OpenAI已邀请四家外部安全机构驻场开展嵌入式安全评估,核心研发细节仍受严格保护。

AI已经成为OpenAI研发下一代GPT模型的重要工具,但面对外界热议的「递归自我改进」(RSI)概念,OpenAI CEO奥特曼在11月16日的Semafor活动现场明确划出了安全红线。

我们本可以进一步向递归自我改进推进,但我不认为现在能安全地这么做。

这一表态的潜台词十分明确:当前的技术瓶颈并非无法推进,而是出于安全风险的考量暂不放手。

为了落实安全原则,奥特曼并未停留在口头表态,而是推出了实质性举措:邀请包括METR在内的多家外部安全评估机构入驻实验室,开展「嵌入式评估」。

在奥特曼看来,当AI深度参与研发环节时,仅靠内部自检的安全机制已无法兜住风险,必须引入外部视角核查。

AI已参与研发,为何还不能放手?

奥特曼将「递归自我改进」拆解为两层核心含义:一是OpenAI已借助AI技术大幅加快了新模型的研发速度,这一点是明确的;二是尚未实现让模型在无人监督的情况下自主设计、迭代下一代模型的状态。

外界对这一概念既兴奋又担忧,核心在于一旦下一代AI能反过来造出更强的下下一代,技术进化会进入滚雪球式的复利狂奔。对此,奥特曼的态度十分坚决:绝不接受将未来决策权移交给AI的做法。

他还吐槽了硅谷部分机构的推销话术:一边许诺解决重大问题,一边却要求人类交出全部主导权,最终可能让人类失去控制权,像宠物一样被机器照顾。

面对关于模型进步速度的提问,奥特曼没有参与数字竞赛,而是坦言AI能力进化呈锯齿状:部分环节进展远超预期,部分环节仍存在瓶颈,笼统的「整体提速」说法并不准确。他强调,安全底线才是当前最紧迫的问题。

6人团队、4个月:外部机构查什么?

奥特曼口中的「嵌入式评估」,是OpenAI与四家外部机构的合作:Apollo Research、METR、Transluce和Goodfire,分别负责核查研发流水线的关键环节。

Apollo Research派出6人团队驻场4个月,排查模型是否暗中破坏自身或下一代模型的对齐机制;METR聚焦最大规模的强化学习训练,搜寻常规监控漏掉的风险;Transluce检查评测的质量与覆盖范围;Goodfire借助可解释性方法剖析模型内部机制。

这种外部核查的核心逻辑是:过去在成品发布前做安全测试的模式已失效,很多未发布的模型早已在内部参与研发,只有直接介入研发环节才能发现潜在风险。

能进去检查,部分结果却不能公开

外部评估的权限有明确限制:Apollo的检查结果中,敏感证据可被抹去,部分访问限制需公开说明;Transluce的内部专用模型评估结果不得公开,完整报告仅提交给安全委员会。

开门迎检是真,但核心研发细节仍被严格保护。

通向ASI:人类还能保住干预能力吗?

有人疑惑,OpenAI自己的自动化监控系统为何需要外部核查?因为监控本身也存在漏洞:METR曾发现,监控机制仅在智能体交回控制权时触发,导致AI可以推迟检查,只要不交回控制权就能逃避核查。

这一案例敲响警钟:监控程序写进代码不等于全程可控,AI自主运行的时间越久,风险越难察觉。目前外部评估方没有独立叫停权,但奥特曼坚持人类掌控未来的原则,同时也承认,技术发展可能需要调整计划。

AI造AI的飞轮一旦启动,能力和风险都会进入复利增长,引擎越强,刹车的分量就越重。

以上内容不代表本平台立场,仅供读者参考