文章摘要
华为诺亚方舟实验室联合UCL等机构推出无需微调大模型权重的AI智能体Memento 3,它采用“代码即模型”递归自我改进机制,可自主探索陌生游戏规则、生成模拟器优化策略,完成ARC-AGI-3公开集25款游戏全通关并取得满分,操作量较人类减少约56%,还在Atari Pong游戏中实现零封,该研究为冻结参数大模型自主迭代提供新方向,目前该方案算力消耗较高,复杂现实场景效果有待验证。

华为诺亚方舟实验室联合UCL等机构推出的Memento 3智能体系统,实现了AI游戏通关的新突破。这套系统无需调整大模型权重、无需针对游戏场景微调,就完成了ARC-AGI-3公开集内25款共183个关卡的全通关,还拿下了满分100的相对人类行动效率(RHAE)成绩。

对比人类玩家完成全部关卡需要的17135次操作,Memento 3仅用7518次,操作量减少约56%。作为参照,同样基于Claude Opus 5大模型的基础框架,在官方标准测试中平均RHAE仅为40.7分,换用这套智能体系统后,成绩直接提升了59.3分。

这套系统并非依靠无脑试错通关,而是通过自主摸索规则、生成代码模拟器、迭代优化策略来完成游戏。研究团队还将其应用到经典街机游戏Atari Pong(乒乓球)中,AI自主摸索出控制策略后,无需再调用大模型参与实时推理,连续三局将对手打成21:0的零封战绩。

本次测试所用的25款游戏来自ARC-AGI-3公开集,和传统AI评测的出题解题模式不同,该测试集将AI直接投入陌生游戏场景,所有游戏规则、通关目标、操作效果都需要AI自行探索、验证。这些游戏画面多由简单像素、色块和图形构成,看似复古简单,但对AI来说最大的挑战并非操作本身,而是理解陌生世界的运行逻辑——比如踩上特殊地板会触发什么效果?门无法打开是颜色还是形状不匹配?后续关卡还可能推翻此前总结的经验,进一步提升探索难度。

即便是人类玩家,在这类游戏中也容易陷入卡关困境。据公开测试数据,在操控变形虫移动变色的益智游戏r11l中,10名参与者全部通关,但在符号破译类解谜游戏tr87中,12名挑战者仅6人成功通关。

在Memento 3问世前,行业内已有多个团队参与该测试集的攻关:普林斯顿大学的Continual Harness仅通关3款游戏,得分20.5;英伟达团队的DreamTeam通关6款,得分38.1;独立开发者的OPINE-World和英伟达的NOOA分别拿到78.4分和85.1分;此前成绩最好的是独立开发者Sergey Rodionov的baseline1,实现全25款游戏通关,得分99分,仅差1分满分。而Memento 3不仅补上了这最后1分,还比baseline1减少了829次总操作次数,通关效率进一步提升。

核心技术逻辑:代码即模型的递归自我改进

这项研究的核心思路是基于世界模型的递归自我改进,具体落地方式被称为代码即模型。Memento 3的核心机制是在游戏过程中自主生成两类核心资源:

  • 规则手册以Markdown文档形式记录AI探索出的游戏规律,包括操作触发的效果、通关条件、尚未明确的规则细节
  • 可执行世界模型则将总结的规则转化为可运行的Python代码,相当于搭建了一个简化版的专属游戏模拟器

有了这两类资源,AI可以先在自建的模拟器中推演不同操作路线,再选择最优方案进入真实游戏场景。如果初始对规则的理解出现偏差,系统也能自主修正:比如在某款解谜游戏中,AI最初认为特殊地板会让角色携带的图案随进入方向镜像翻转,但实际测试后发现图案实际是顺时针旋转90度且与方向无关,随即更新规则手册和对应的Python代码。

每次更新规则后,系统都会重新模拟此前的操作,逐格比对64×64分辨率的游戏画面,确认代码能准确复现真实游戏结果,若存在偏差则继续调整。研究团队还引入了Git版本管理机制,记录每一次规则和代码的修改,方便回溯历史版本,必要时直接恢复到正确状态。

对照实验数据验证了这套机制的价值:在三款测试游戏中,保留规则手册时AI总操作次数为617次,仅保留代码世界模型时则需要677次,规则手册让操作量减少约9%,智能体执行轮次减少约18%。

研究团队进一步尝试让AI同时维护两套世界模型,共享游戏操作记录但各自推演不同的规则假设。在游戏wa30测试中,单世界模型需要899次操作通关,切换为双世界模型后操作量降至597次,减少约34%。不过该提升目前仅在该游戏中得到验证,暂未实现全场景推广。

跨场景验证:从解谜到街机对战的突破

为验证系统的跨场景能力,研究团队将Memento 3应用到Atari Pong街机乒乓球游戏中。和解谜游戏不同,该游戏中小球会持续移动反弹,AI不仅需要摸索规则,还要实时判断球的运动轨迹并控制球拍接球。

初始阶段,AI同样对反弹规则一无所知,最初假设球拍分为四个区域,小球击中不同区域会朝对应方向反弹,但在游戏中出现一次水平反弹后,AI发现原有规则存在偏差,随即重新分析碰撞位置并调整反弹公式,经过多轮修正后总结出符合实际的运动规律。

当控制策略成熟后,系统脱离大模型调用直接独立运行,最终三次不同开局均打出21:0的零封战绩。此时大模型仅负责前期的规则摸索和策略总结,后续的实时操作全部由生成的代码完成。

作为对照,不使用世界模型、仅让大模型根据实时画面决定操作的方案,最终得分仅为-19,和随机操作的-20.7相差无几。此外Memento 3仅用约9500帧游戏画面就学会了这套控制策略,远优于传统强化学习方法所需的数十万甚至上亿帧训练数据。

当然这套方案也存在成本限制:其背后依赖开启Extra-High推理强度的Claude Opus 5,探索、代码生成和验证过程需要消耗大量Token和算力。且目前的实验场景均为规则相对明确的游戏环境,在更复杂多变的现实场景中能否生效,仍有待进一步验证。

不过这项研究依然指出了一个极具价值的方向:递归自我改进并不需要修改模型底层权重,通过构建可检查、可执行、可回滚的外部世界模型,冻结参数的通用大模型同样可以在陌生领域中自主迭代、快速进化。

递归自我改进(RSI)并不一定要动模型底层权重。通过构建可检查、可执行、可回滚的外部世界模型,冻结参数的通用大模型同样能在陌生领域里自我迭代、迅速进化。

相关研究论文地址:https://arxiv.org/abs/2610.11794

以上内容不代表本平台立场,仅供读者参考