Jeff Dean谷歌离职首谈:AI已达顶级攻击水平

谷歌资深研究者Jeff Dean在离开老东家后的首次公开访谈中毫无保留,在斯坦福举办的前沿研讨会上,他一口气聊透了诸多此前从未公开深入探讨的话题,从离职创业的初衷、Gemini项目的复盘,到TensorFlow的设计遗憾、新公司的核心方向,再到AI研究的底层原则与行业风险,内容信息量十足。
这场访谈的核心观点可以归纳为五大方向:
- AI在网络安全攻防中的能力已达到甚至超越顶级人类攻击者水平
- TensorFlow早期存在两处明确的设计失误,Jeff Dean本人也坦诚承认
- 未来科学实验的迭代周期将从数天甚至一周压缩至一分钟或一小时
- Jeff Dean正在推进的递归自我改进研究,将覆盖模型参数、训练数据、评估体系乃至模型架构本身
- 在寻找重大研究方向时,与其精读单篇论文,不如快速浏览10篇甚至100篇论文摘要
从大公司到小团队:专注科学与工程自动化
Jeff Dean在谷歌工作了27年,他坦言自己非常珍视在谷歌的时光,也认可谷歌当前的发展状态与Gemini项目的推进计划,但他依然选择离职创业。相比大公司,他认为高度专注的小团队拥有独特的优势:当下云计算与云算力的普及,让小型团队无需从零搭建基础设施,仅依靠少量资金就能依托第三方服务开展前沿研究。
他的新公司Discovery Loop的核心愿景,是通过机器学习实现科学与工程流程的自动化,从而提升多个领域的科学发现速度。作为一家初期仅约10人的团队,他们可以完全聚焦于核心目标,避开大型组织中常见的各类干扰,专注打磨科学与工程自动化的整套体系。
递归自我改进:让AI自主优化全流程
Jeff Dean表示,用机器学习优化机器学习的探索已经持续多年,比如联合创始人Quoc Le早期开展的神经架构搜索(NAS),以及后续的Evolved Transformer项目,都通过自动化方式找到了效率比标准Transformer高出约30%的架构设计。
他认为,递归自我改进的核心目标,是让模型构建的整套流程都能通过自动化持续优化,包括训练数据选择、评估体系设计、模型架构优化乃至参数调整。当前这些环节仍需要大量人工团队逐一研究,而未来将形成完整的自动化循环,让每个环节都持续迭代并最终提升模型的整体能力与质量。
这种自动化循环本质上是对科学方法的复刻:将大问题拆解为子问题,提出解决方案并开展实验,通过实验结果反馈调整后续方向,而他们的目标就是将这一整套流程的自动化程度不断提升。
新公司的落地愿景:大幅压缩科学实验周期
对于Discovery Loop的落地路径,Jeff Dean表示初期会聚焦少数几个领域,以保持专注度,但团队认为不同科学与工程领域之间存在大量可复用的基础设施与通用技术。如果能够构建出覆盖多领域的专业模型,就能让模型具备接近多个领域博士级别的专业能力,自主判断大问题中的核心子问题,调度多智能体系统分别解决,再将子问题的结果整合为完整方案,并持续循环迭代。
团队还希望大幅压缩实验迭代的周期,将原本需要一天甚至一周的实验流程缩短至一分钟或一小时,同时通过并行运行上万次实验获取反馈,进一步优化后续的实验方向,最终同时提升实验的运行速度与质量。
Gemini的经验与遗憾
Gemini项目本质上是谷歌内部多个早期研究项目的整合,包括DeepMind、Google Brain以及谷歌其他研究团队的工作。当时Jeff Dean意识到各团队都在朝着相似的方向推进,于是写下一页纸的备忘录,提议将各团队的人力、想法与算力资源整合,打造一款从一开始就具备多模态能力的模型,并与Oriol Vinyals共同发起了该项目,担任最初的联合技术负责人。
从结果来看,一开始就做多模态设计是非常成功的决策,因为通用AI模型需要同时理解文本、语言、代码、图像、视频、音频等多种模态数据,团队甚至在训练数据中加入了激光雷达数据,为后续的相关应用场景做准备。但Jeff Dean也坦诚,当时团队对提升模型编码能力的重视程度稍晚,后续他们已经意识到这一问题并着手追赶,目前相关工作已取得不错的进展。
他特别提到,编码能力的提升能够有效带动模型的推理能力,因为编写代码本身就要求模型将复杂问题拆解为多个子问题并逐一解决,这种能力可以迁移到大量非编码任务中。
TensorFlow的两处设计遗憾
Jeff Dean也坦诚回顾了TensorFlow早期的两处设计失误。第一是最初没有加入Eager Execution模式,这种模式后来在PyTorch与JAX中流行开来,TensorFlow后续才加入该功能,让整个框架的抽象层更加友好。
第二是开源TensorFlow时设立了contrib子目录,允许外部开发者贡献各类辅助库与实现方式,这一设计后来给社区带来了不小的困惑——同一功能往往存在十余种不同的实现路径,开发者需要根据使用的子目录或库来选择方案。Jeff Dean表示,当时应该让TensorFlow核心保持简洁,将这些辅助功能作为基于核心的外部库来开发,如今如果重新设计,他不会再采用这样的方案。不过他也强调,TensorFlow依然帮助大量开发者接触机器学习,提供了统一的框架来解决实际问题,这一点的价值不可否认。
Jeff Dean的研究与工程原则
在如何判断技术的长期价值方面,Jeff Dean分享了自己的经验:他经常对学生说,与其精读一篇论文,不如快速浏览10篇甚至100篇论文的摘要,这样能够积累更多关于“哪些技术正变得可行”的认知,从而更好地连接此前未被关联的重要想法。
他认为,真正值得长期投入的研究问题,是那些需要差异化解决方案、且已经出现可行苗头的课题:如果一个问题需要20年才能解决且看不到任何突破方向,那时机还不成熟;如果一个问题仅需两年就能解决且路径清晰,那更多属于工程落地范畴。
他还经常使用数量级估算作为工程工具,利用第一性原理与工程经验快速判断不同解决方案的可行性,比如明确处理特定数据需要的时间、传输成本等,区分10秒与100年这样的量级差异。此外他也坦言,自己也曾经历过大量失败的项目,因此建议研究者多尝试可能不会成功的工作,其中总会有部分取得成功。
AI在网络安全领域的双刃剑效应
对于AI在网络安全领域的快速发展,Jeff Dean表示AI技术本身是中性的,多数应用会对世界产生积极影响,比如医疗AI与教育AI能够帮助解决过去难以攻克的问题。但AI同样存在双刃剑属性:既可以被用于发现并修补大量现实存在的安全漏洞,也可能被恶意用户用来攻击系统。
他指出,当前的AI模型已经能够完成顶级人类网络攻击者的工作,甚至可能做得更好,还能发现连优秀的人类防御工程师都难以察觉的漏洞。网络安全的攻防平衡始终存在,如今双方的工具都变得更加强大,这一领域值得警惕,除了技术手段外,还需要通过法律与监管等非技术手段来规范AI的使用,让社会明确哪些行为是被允许的,哪些需要被禁止。

