DeepSeek-R1技术路径与MoE演进深度解析
近年来，自进化智能体相关技术快速落地，从算法自动发现到机器人自主进化，相关研究与应用层出不穷。但业界常混用“self-evolving”“self-improving”“learning”“adapting”等词汇，且“递归自我改进”“持续学习”“测试时训练”等相关术语也容易让人混淆。本文将系统梳理自进化智能体的分类框架，明确不同技术路径的核心差异与应用场景。
模型、调度框架与产出物
自进化系统主要包含三个关键要素：模型、调度框架（Harness）和产出物（Artifact）。其中，模型通常指大型语言模型（LLM），是智能体的“大脑”，负责响应各类提示完成任务；调度框架则包含循环设计、记忆系统、工具调用等周边组件，将基础模型转化为具备完整功能的智能体，有一个广为人知的等式：Agent = Model + Harness；而产出物则是智能体最终生成的各类输出，比如自研算法、学术论文、机器人控制策略等。三者的逻辑关系清晰：模型与调度框架共同构成智能体，智能体进而生成各类产出物，这一框架可以作为梳理自进化技术路径的基础。
第一类：产出物迭代优化
当前自进化智能体的浪潮，主要由产出物迭代优化方向推动。其核心动机是利用强大的大模型，为复杂优化问题生成新的产出物。
比如AlphaEvolve通过编码智能体实现科学与算法发现，在此分类中，新发现的算法就是典型的产出物。后续涌现出多个自动研究系统，其中代表性的案例是Analemma AI的FARS系统，该系统运行417小时，生成了166篇完全由AI撰写的学术论文，总成本约18万美元。还有Recursive Superintelligence项目，也通过自进化找到了更优秀的GPU内核算法。
这类系统的概念并不复杂：人类先设定目标与评估标准，智能体反复寻找优化点生成新的产出物，再验证是否符合标准，符合则完成迭代，否则继续循环。这类模式对很多读者来说并不陌生，比如Codex、Claude Code和OpenClaw等工具都遵循类似的逻辑。
这一思路并非全新，但大模型的出现让这类循环变得更加灵活。在大模型主导之前，研究者通常手动设计算子或动作，再基于这些算子设计搜索或优化方法，比如神经架构搜索领域的EfficientNet，先定义网络算子的搜索空间，再搜索更优的网络设计，这类工作曾在多个任务上取得超越人工设计方案的效果。而大模型带来的核心改变是，模型本身可以同时充当算子与优化器，既能发明新的候选方案，也能检查过往结果并决定下一步搜索方向，这让我们拥有了更大的搜索空间与更优秀的启发式搜索工具。
另一个重要趋势是大模型在长时序任务上的性能持续提升，让改进-验证循环可以更高效地运行。早在2024年，像LLaVA-Plus这类早期工作只能进行少于5次的工具调用，需要频繁的人工干预；而现在，智能体可以连续运行数小时而几乎不需要人类介入。随着大模型能力的不断增强，这类循环对加速工程与科学发现的价值正在快速凸显。
目前这类技术大多在数字环境中落地，比如代码库、浏览器、模拟器、终端与其他软件系统，但更具野心的方向是物理世界。比如NVIDIA让智能体通过循环控制机器人来发现新的机器人策略，LabOS将智能体与生物实验室连接开展实验，Qumus则构建了量子材料实验员。未来将会有更多针对物理世界的产出物迭代优化技术出现。
第二类：调度框架自主升级
几乎与产出物迭代优化同时，调度框架自主升级的研究方向也快速流行起来。其核心动机源于模型训练的高昂成本，人们自然会思考：能否在不更新模型权重的前提下，在部署后优化智能体本身？答案是肯定的，目前主要的探索路径分为两个层面：提示与记忆优化，以及工具与技能创建。
提示与记忆优化
我们可以通过记忆过往的问题与答案来复用经验，但这种方式的泛化能力较差，在类似但不同的任务上表现不佳。更优的方案是提取有用的规则并存储起来，供智能体后续复用。目前的相关方法包括：
- GEPA：将规则直接嵌入提示词中
- ACE：将经验存储为操作手册（Playbook）
- Mem0：搭建专用的智能体记忆存储系统
虽然部分方法名称中带有“learning”，但它们并不会调整模型的权重。不过如果将调度框架视为智能体的一部分，那么对调度框架的更新（比如提示更新、记忆优化）也可以视为类似参数更新的操作，因此将这类方法称为“学习”方法并无不妥。这也是调度框架自主升级与产出物迭代优化的核心区别：前者优化的是智能体自身的组件，而后者优化的是智能体的产出物。
工具与技能创建
仅依靠文本记忆往往不足以处理复杂任务，比如当智能体需要解析长视频并提取关键帧时，记忆系统会变得冗余。此时智能体需要可执行的工具或技能来完成任务，因此另一个直接的思路是创建可复用的工具或技能，让智能体在后续遇到同类问题时可以直接复用。
工具通常以代码形式实现，智能体可以直接生成这类工具；而技能则可以视为围绕工具的高级封装。生成的工具或技能会被加入智能体的调度框架中，供后续重复使用。这类方法还可以有效减少上下文长度，避免将所有细节都塞进上下文窗口，而上下文管理正是智能体性能的关键影响因素。
目前技能创建已经成为热门的解决方案，Claude Code已经将技能创建形式化，成为现代智能体的标准组件之一，Codex与OpenClaw也支持类似功能，热门仓库Hermes Agent也突出了自动技能创建的能力。与提示与记忆优化类似，这类方法也需要智能体修改自身的调度框架组件。
多智能体自进化方案
单一智能体的扩展性存在局限，随着智能体的剧本、工具与技能增多，系统会变得不可靠且低效。比如如果用户仅关注股票相关问题，智能体中保留的烹饪工具不仅无用，还会降低运行速度，甚至可能造成语义混淆——比如“squeeze”一词既可以指股市操作，也可以指挤压橙子。
此时任务专家智能体就显得尤为有用，比如专门的烹饪智能体与股票智能体，比同时处理两类任务的单一智能体表现更好。这也引出了多智能体自进化的解决方案。我们此前的工作Eevee发现，当数据来自完全不同的来源或分布时，单一智能体的性能会受到限制，因此提出使用多个专家智能体处理不同任务，通过路由机制将任务分配给最合适的专家。类似的，Alita-G项目也通过生成工具构建专业专家智能体，在特定领域取得了优秀的效果。
多智能体系统也可以视为上下文管理的扩展，每个专家智能体仅需要携带与自身任务相关的上下文，进一步优化了资源使用。这类方案的核心瓶颈是路由问题，即如何找到最合适的智能体处理当前任务，研究发现大多数情况下路由并非简单问题，需要更强的基础模型才能实现良好性能，这也和人类专家的调度能力类似——我们需要将任务交给合适的Agent，并判断是否需要进入下一步流程。
第三类：无标准答案的模型参数更新
这类技术直接更新模型的权重，也是三类方向中唯一直接修改模型本身的路径。该领域的很多工作并不会自称“自进化智能体”，而是常以自训练、弱监督学习、自博弈、强化学习、测试时训练、在线学习或持续学习等名称出现。
这类技术的核心区别于前两类的点在于，学习过程会改变模型的参数。其核心问题是：如何在没有标准答案的情况下，仅通过问题、弱信号或环境交互实现模型更新？其目标与自进化智能体类似，但实现路径完全不同。
伪真值与内部信号
当没有标准答案时，一种思路是从数据本身构建伪真值，比如自训练方法；或者使用内部信号，比如TTRL方法。这些信号可以用于模型训练：如果将伪标签作为训练目标，可以使用监督微调（SFT）；如果信号可以转化为奖励，则可以使用强化学习，比如DeepSeek-R1。
举个简单的例子：如果问题是“图片中有多少个苹果？”，即使没有标准答案，预训练模型也可以给出比随机猜测更优的估计。假设图片中有5个苹果，模型可能对“4、5、6个苹果”的答案更有信心，这些就是内部信号。虽然这些信号并非完美的标签，但依然是有用的训练信息。
自博弈与环境弱信号
学习信号也可以来自模型外部。部分工作通过自博弈实现学习，比如SPIN与Absolute Zero；还有部分工作通过与环境交互获取信号，比如Agent Learning via Early Experience。其实另一个玩家也可以视为环境的一部分，因此可以将这两类方法归为同一类。
一个日常的例子：如果你约别人出去玩却没有收到回复，这本身也是一种弱信号，即使环境没有给出明确的反馈。
测试时训练（TTT）
测试时训练（TTT）是一个特殊的方向，它并不常被称为自进化技术，但本质上也是模型的在线更新。该方向的研究表明，部分序列模型可以在推理过程中执行基于梯度的更新，从这个角度看，模型可以视为在推理过程中持续更新内部矩阵。相关的DeltaNet博客对该方向有详细的介绍。
与持续学习的联系
持续学习（也称为在线学习或终身学习）的概念可以追溯到大模型时代之前，经典场景是视觉识别任务：比如先训练模型识别轿车，再希望模型能够识别SUV。简单的方案是在SUV图像上微调模型，但这可能会损害模型对原有轿车图像的识别能力，即“灾难性遗忘”问题，目前该问题尚未完全解决，最有效的解决方案之一仍是在微调时重放部分原有样本。
值得注意的是，同一术语在不同时期的含义可能完全不同，比如“多模态”学习的概念：2017年左右常指图像描述工作，2021年左右指CLIP类模型，2023年用于视觉-语言模型如GPT-4V，到2025年则涵盖了同时处理图像理解与生成的统一模型。同样，当前LLM语境下的“持续学习”，也更接近自进化智能体的定义，而非早期的灾难性遗忘设置。这也说明术语与技术都会随时间不断演变。
边界的模糊与融合
模型、调度框架与产出物的进化边界正在变得越来越模糊。在优化产出物时，为了提升搜索效率，我们可能同时需要优化智能体的调度框架，比如调整提示、工具或搜索策略；而当调度框架达到性能瓶颈时，更新模型参数就成为自然的下一步，比如SIA等工作已经探索了这一方向。
展望未来，自进化系统的各个模块应该实现协同进化。看待AI工具进步的一个有效视角是抽象层次的提升：几年前我们需要手动编写每一行代码，后来可以让ChatGPT生成代码片段，再后来Copilot帮助编写函数与文件，现在编码智能体可以处理整个项目。优化目标也从单个单词，到代码片段、文件，再到完整的项目，我们不断将更多内容组合为新的抽象，并在更高层次进行思考。
自进化智能体系统也将经历同样的过程，模型、调度框架与产出物不应再被视为孤立的组件。当系统足够强大时，自然的发展方向是将三者作为统一的进化系统进行整体优化。
落地现实场景的核心价值
自进化智能体最令人期待的价值，是能够优化智能体系统之外的事物。更好的提示、记忆、工具与模型都有其价值，但自进化技术的最终价值，仍需要通过是否帮助构建更好的事物来衡量：比如更快的内核算法、更强的软件系统、新的科学假设、新材料，以及更优秀的机器人行为。
这也是我们用模型、调度框架与产出物来梳理该领域的原因：这三个要素分别对应了进化可以发生的三个位置：模型可以从弱信号中学习，调度框架可以更新记忆、提示、工具与技能，产出物可以被智能体迭代优化。这三个路径是通往同一套更大系统的不同入口点。
早期的自进化系统通常单独使用这三类循环：部分工作保持模型固定而优化调度框架，部分保持智能体固定而优化产出物，还有部分通过自生成或弱反馈训练模型。但在未来的系统中，这三类循环将实现协同成长：更强的模型帮助构建更好的调度框架，更好的调度框架加速产出物搜索，更好的产出物又为模型学习提供新的数据与反馈。
自进化智能体的概念曾以不同名称出现多次：递归自我改进、持续学习、在线学习、自动发现、测试时适应等，名称的变化源于可用系统的升级。如今我们拥有了大模型、工具使用智能体、并行执行能力、更丰富的环境与更有效的验证信号，让这一技术迎来了新的发展阶段。
与其纠结术语的名称，不如关注三个核心问题：
- 什么在进化？
- 什么反馈驱动进化？
- 循环在哪里闭合？
如果循环在基准测试上闭合，我们会得到更强的基准求解器；如果在代码上闭合，会得到更好的软件；如果在科学与工程上闭合，会得到更优秀的发现；如果在物理世界闭合，智能体将成为构建与改进真实系统的全新方式。而物理世界始终是最具挑战的环境，也是自进化智能体发挥最大价值的场景。
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/
AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。
