田渊栋谈AI科研：与其被动失业，不如主动创业
近期，有行业动态显示，某机构在开源平台上公开了超700份数学领域研究手稿，涵盖17个细分方向，全部由一款未正式发布的内部模型生成，其综合表现超越了此前的先进模型。这一事件也侧面印证，人工智能产出学术成果的速度，已经迈入了“百篇级”的新阶段。
几乎在同一时段，一档科技播客中，一位深耕深度学习领域多年的研究者分享了自己的感慨：在完成一个项目并拿到初步成果后，他突然意识到自己的工作或许在五年内就会被AI取代。说出这番话的是田渊栋，他曾在Meta FAIR工作近十年，参与过围棋AI、强化学习、神经网络可解释性等方向的研究，也是连续潜空间思维链相关论文的核心作者之一。
如今，田渊栋的新身份是一家AI创业公司的联合创始人。今年5月，这家名为Recursive Super Intelligence的公司正式对外公布，已完成超6.5亿美元的融资，投后估值达到46.5亿美元，投资方包括GV、Greycroft，以及英伟达、AMD等企业。
在那场播客对话中，田渊栋解释了自己选择创业的原因：“与其被动等待被替代，不如主动创办一家聚焦相关领域的公司。”不过他也对当前的AI能力保持清醒：“如果只让模型自主思考，它给出的往往是非常平庸的想法，都是大家已经熟知的内容，算不上有突破性的方向。”
这场持续近一小时的对话，从田渊栋在卡内基梅隆大学的求学经历讲起，覆盖了围棋AI研发、强化学习逻辑、潜空间推理，最终落脚到递归自我改进、新型架构和开源方向。以下是对话的核心内容整理。
Smith Hall里的争论：AlexNet到底是不是一场意外？
田渊栋2008年赴美攻读博士，就读于卡内基梅隆大学机器人研究所。彼时机器学习领域的认可度远不如现在，不少业内人士认为这一方向并不靠谱，理由是模型容易过拟合，且内部运行逻辑难以解释。
他的博士课题聚焦计算机视觉中的非凸优化问题，比如校正水面折射导致的图像畸变。他通过分层优化方法完成研究，并证明了即便问题非凸，只要数据量足够，仍能在一定范围内验证最优性。他曾表示，“数据驱动结合优化的思路很有意思，我至今仍为这项工作感到自豪。”
2012年AlexNet问世后，田渊栋向作者索要代码并自行测试，很快意识到卷积网络的层级化处理，和自己博士论文中的分层优化思路本质相通，“或许是我一直在追寻的方向，只是换了一种实现形式。”
但当时卡内基梅隆大学的学术氛围并不友好，师生们常在Smith Hall激烈讨论，AlexNet的成果究竟是偶然的突破，还是真正的行业拐点。绝大多数人认为这只是侥幸，因为其表现远超当时的理论预期。
2013年毕业时，田渊栋收到了多家深耕深度学习的机构邀约，最终选择加入Google自动驾驶团队，一方面是看重其行业影响力，另一方面也得益于朋友的内推。但在那里的一年零三个月里，他并未开展深度学习相关的科学探索，团队更倾向于用成熟方案解决实际工程问题。于是他跳槽前往FAIR，并称这是“当时做出的最佳选择之一”。
两个人、一块GPU：田渊栋的围棋往事
在FAIR，田渊栋主导的第一个项目是围棋AI。2015年，他的团队打造出DarkForest，凭借卷积网络在对弈平台上击败了顶尖业余棋手。几个月后，AlphaGo在2016年春天击败了职业棋手李世石，双方的研发进度出现了“撞车”。
复盘这段经历时，田渊栋认为AlphaGo具备两项DarkForest没有的核心能力：一是价值网络，而DarkForest当时仅搭载了策略网络；二是团队成员具备扎实的强化学习背景，而他本人当时基本是边做边学，相当于在实践中完成强化学习的入门。这段经历也让他后续转向了大量强化学习相关的研究。
被问及AlphaGo的成果是否令人意外时，田渊栋表示，方法本身并不惊人，因为卷积网络能够捕捉人类下棋时依赖的棋盘模式，“真正让人惊讶的是，它居然能够击败职业棋手。”
2018年，田渊栋的团队复现了AlphaZero的方案——完全不依赖人类棋谱，通过从零自我对弈完成训练，并做了多项效率优化，最终得到OpenGo。这款AI在与韩国棋院的正式对局中，仅使用一块V100 GPU，就击败了四位职业棋手。田渊栋提到，“这大概是第一次有人用单块GPU战胜职业棋手。”
对局前还有一段小插曲：团队邀请职业和半职业棋手评估OpenGo的棋力，对方表示开局阶段尚能理解，但后续完全无法跟上，只能评价“看起来很强，但无法确认真实水平”。于是田渊栋决定直接邀请职业棋手进行正式对局。
动作空间比算法更重要
谈及早期的强化学习研究，田渊栋认为有不少方法至今仍被低估。比如分布式强化学习，通过奖励的分布而非单个标量来调整模型；又如Q-learning等不同的建模思路。“但如今我们大多使用策略梯度方法，这是完全不同的时代。”
他同样看好无梯度优化方法，并认为大模型为这类方法带来了新的应用可能：“大模型对系统和优化目标具备更好的高层理解，这种全局视角比局部梯度信息更有价值。”在梯度波动剧烈、局部最优频发的场景中，梯度方法容易陷入死胡同，而无梯度方法天然具备探索属性，这是梯度方法从未具备的优势。
2018到2019年间，田渊栋尝试将强化学习应用到真实场景中，得出了一个出人意料的结论：“真正重要的不是算法本身，而是动作空间和状态空间的设计。”
他以神经架构搜索为例解释：人类知道网络深度是关键参数，但AI并不具备这种先验知识。如果AI一开始就搜索第一层卷积核大小这类细节，所有分支的表现差异极小，价值函数无法提供有效信号，只能逐层扩展搜索空间，最终导致搜索空间指数级膨胀，“这时无论用什么算法都无济于事。”反过来，如果重新组织动作空间，让AI先意识到深度的重要性，深网络和浅网络的表现会出现显著差异，只需几次测试就能明确优化方向。团队据此提出了潜空间蒙特卡洛树搜索，核心思路是自动找到能让搜索子空间区分度最高的动作空间。
Coconut：“我思考的时候从来不用语言”
对话中提到了田渊栋参与的Coconut论文，该研究提出让模型在连续潜空间而非token空间中完成推理。田渊栋表示，这个思路源于他的个人观察：“我思考的时候不会使用语言，能清晰感觉到思考依赖大脑的另一部分区域，之后必须将想法翻译成语言，才能和他人顺畅交流。”
基于这个直觉，团队完成了理论推导，发现潜在表示可以是多种想法的叠加态，使用这类表示进行推理，在图遍历等问题上能获得显著优势，“或许不是指数级的提升，但至少具备实际价值。”
对于当前前沿模型尚未采用连续思维链的原因，田渊栋给出了两点解释：一是数据层面，人类的思考过程大多以语言形式被记录，潜空间相关的数据极度匮乏；二是潜在表示具有高度个性化，“每个人都在用属于自己的潜在表示”，而大模型的学习效率远低于人类，只能先以语言作为替代学习载体。
当被问及这是否和JEPA等自监督方法面临的正则化难题类似时，田渊栋表示认同，并进一步指出：梯度下降或许本身就陷入了“元层面的局部最优”，有些优秀的表示方式，当前的训练范式根本无法学到，“我们现在完全不知道边界在哪里。”
在他看来，这也是可解释性研究的核心意义，“就像炼金术和化学的区别。”只是当下行业过度追求模型效果，愿意投入时间和精力在可解释性方向的研究者太少。
和GPT-5合写最后一篇论文之后
谈及大模型时代的研究转型，田渊栋认为自己从2018年开始的神经网络训练动力学分析，在大模型场景下依然适用，并未出现研究范式的断裂。真正的冲击来自实证层面：研究者过去提出假设、设计实验、得出结论的流程，和一两百年前并无本质区别；但当模型足够强大后，可以自主产出想法，“研究者可能被迫转向元层面的思考，而非花费时间提出一个个具体的假设。”
同时，工程能力的重要性大幅提升，大模型时代的不少优秀工作“一半是研究，一半是工程”。直到AI编程智能体出现后，局面再次发生变化：具备扎实经验的研究者可以让智能体快速实现想法、定位关键问题，“突然之间就拥有了超能力，可以去探索真正深层的内容。”
这个转变的转折点是他在Meta的最后一篇论文，也是他作为唯一作者的作品，该研究聚焦神经网络的grokking现象，即网络先死记硬背训练数据，在训练到某个节点后突然学会泛化。
整个研究过程中，田渊栋将GPT-5视为合作者：向它提问、布置任务，让它证明定理、验证结论、参与头脑风暴。最终研究效率提升了6到10倍，“这还是保守估计，因为当时我还需要自己编写代码。”如今代码和实现都可以交给智能体完成，速度只会更快。
这也正是他最初那句感慨的来源。田渊栋坦言，研究者通常不愿意加入小公司担任联合创始人，因为需要处理大量非研究相关的事务，“但我认为现在是行业的一次相变，如果我不采取行动，未来可能会被彻底边缘化。”
AI还想不出好点子
不过田渊栋并不认为人类已经可以退出研究闭环：“我不觉得当前的模型可以在没有人类干预的情况下产出优质成果。”即便是和GPT-5合作的那篇论文，核心思路也是由他提出，而非让模型自主生成。
人类目前仍需要承担两项核心职责：一是发起研究，决定哪些问题值得探索；二是验证成果，判断AI给出的方案是否可靠。
对话中提到，近期不少让智能体自主完成后训练、刷Kaggle榜单的工作，都暴露出想法空间狭窄、容易对指标过度拟合的问题。田渊栋认为这在一定程度上是暂时的：模型被要求处理细节但缺乏上下文，如果补充更多背景信息，它就能提出比调整超参数更有价值的想法。
但他也承认，补充上下文只是“临时修补方案”。当前的模型擅长重复性工作，因为互联网上充斥着大量这类数据；如果想要让模型真正跳出固有框架，就需要全新的架构，让它可以用极少的数据快速捕捉新信号。“从常规的重复性工作迈向更高层级，我们需要一次大规模的范式跃迁。”
在“提出想法、编写代码、运行实验、分析结果”的研究闭环中，田渊栋认为最难实现自动化的环节是想法生成。当被问及Recursive Super Intelligence在NanoGPT Speedrun上的成绩——将训练时间从79.7秒压缩到77.5秒，究竟是真正的创新还是对已知技巧的高效整合时，他表示“两者兼有”。比如在注意力机制中加入bigram信息的思路，已经在DeepSeek、Gemma 3等模型中出现类似应用，但如何在不同层使用不同的嵌入表、将这些思路组合起来，又包含了新的创造性。
新架构为何总在规模化时“失灵”？
不少公司提出过Transformer的替代架构，在小规模实验中表现亮眼，但始终无法扩展到大规模模型场景。田渊栋的解释是归纳偏置：在数据量较小时，模型需要引入额外的结构假设才能获得较好效果，因此这类架构在小规模场景下表现优异；但当数据量足够大时，最优的做法是让模型自主学习规律，无需人为引入先验假设。他以ViT为例：在ImageNet量级的数据上，ViT的表现不如卷积网络，但当数据量达到数亿级别时，Transformer的优势就会显现出来。
那么该如何验证新型架构的潜力？
田渊栋认为当然需要从小规模实验开始，但关键是要理解网络内部的运行逻辑，“我们需要确认其中存在可以扩展到更大规模的洞见，这样才有信心继续推进。”如果只是盲目遵循scaling law，永远无法证明小规模场景下有效的方法在大规模场景下依然适用，“最终的结果只会是算力最强的公司获胜。”
他心中的长期目标，是找到与人类相当的学习效率。人脑仅需二三十瓦的功耗和极少的数据，就能在短时间内理解复杂事物。当前机器人领域强调需要海量数据，在他看来只是当前范式的局限，“看看猫、狗这类具身生物，它们不需要海量数据，处理器也相对粗糙，却能在复杂环境中生存，这说明背后一定存在全新的算法。”而强化学习和自我改进，或许是通往这一目标的最快路径。
限制自我改进？“边界太模糊了”
对话最后，主持人提到了当前AI安全领域的热点：有人呼吁限制最新模型的研发，并就递归自我改进进行行业协调。
田渊栋的回答非常直接：“说实话，我觉得很难阻止这类行为。”在他看来，自我改进的边界本身就模糊不清：和编程智能体讨论想法、让它迭代优化，本质上就是自我改进；和他人合作撰写论文，同样也是自我改进。再加上越来越多的开源模型，使用它们开展研究是否也算自我改进？又该如何进行监管？
他明确表示，Recursive Super Intelligence会开源所有研究成果。此前公司的博客文章就已经公开了全部内核和训练方案，允许外界验证并在此基础上继续开发。他更担忧另一种局面：“最糟糕的情况是，一小撮精英掌握了世界上最强的模型，然后让其他用户支付高昂的溢价来使用。”
对于开源模型能否追上闭源模型的表现，田渊栋持乐观态度。他以Kimi为例，认为这款模型已经相当好用，只是思考过程略长。在他看来，编程智能体并不需要达到“AI牛顿”或“AI爱因斯坦”的水平，只要模型越过可用的阈值就足够了。
前沿实验室早已越过了这道阈值，开源模型也正在快速跟进，“一旦越过这个节点，模型就会被商品化，每个人都会使用自己偏好的模型。”
从Smith Hall里关于AlexNet是否为意外的争论算起，已经过去了十四年。当年被广泛质疑的深度学习，如今已经可以自主撰写论文、修改代码、刷新性能记录。田渊栋选择站在这股浪潮的前沿，他表示，接下来真正的问题是：“我们该如何利用这些模型，去完成更好、更具规模的事情。”
