何恺明团队推VISTA框架 多模态模型可回看利用视觉经验
多模态模型在持续交互中，常常面临视觉经验难以留存和利用的痛点，何恺明团队推出的VISTA框架，正是针对这一问题打造的视觉原生解决方案。该框架无需对基础模型进行额外训练，就能让模型随时回看、放大甚至对比历史画面，为多模态模型的交互能力带来了新的突破。
不同于以往将环境信息抽象为文字或代码的处理方式，VISTA会完整保留原始的视觉画面，让模型在推理过程中，可将过往的视觉经验重新调入上下文，辅助当前的判断与推理。这样一来，视觉经验不再是转瞬即逝的信息，而是能被模型随时调用、反复检查的重要上下文，为多模态模型搭建起了围绕视觉记忆的原生脚手架。
在实际评测中，搭配VISTA框架的Claude Opus 5.0，在ARC-AGI-3的全部25个公开游戏中均取得了满分，相对人类动作效率的表现达到最优，所用游戏动作数比首次游玩的人类基线减少了57.4%。换成GPT-5.6 Sol模型后，同样实现了全部通关，得分达到99。
从ResNet、Mask R-CNN到MAE，视觉感知与表征学习一直是何恺明研究的核心主线，此次VISTA的推出，将研究方向聚焦到了多模态模型在持续交互中，如何积累、保存并利用视觉经验的问题上。此前，Anthropic曾以长时间编程任务为例，介绍过Harness框架如何帮助模型跨越多个上下文窗口推进任务，当时的Harness主要通过任务清单记录未完成事项，用进度文件和代码保存已完成工作，让模型在新的上下文窗口中也能接续任务。但在现实的视觉环境里，仅靠文字记忆远远不够——模型不仅需要记住物体的位置、朝向，还要理解每次动作前后环境的变化，而且模型初次看到画面时，往往无法预知哪个细节会在后续任务中变得重要，这些视觉信息也很难用文字笔记完整记录，更难以保证在交互过程中不会丢失。
针对这些问题，VISTA提出了一个关键的解决方案：将环境返回的每一帧画面原样保存到上下文之外，包括动作过程中的动画中间帧，模型需要时再主动调取。在ARC-AGI-3的评测中，模型不仅能对比不同时刻的画面，还能放大局部区域，检查小方块上的朝向标记。VISTA还引入了文字笔记记录模型当前的理解，原始画面则作为重新判断的证据，这种被称为“对交互历史的显式注意力”的机制，让模型能根据当前思考的问题，选择合适的视觉信息重新进入上下文。
为了实现上述机制，VISTA设计了三个核心组件，分别负责视觉观测、无损视觉记忆和主动视觉检查。视觉观测组件会将环境画面提供给模型，比如在ARC-AGI-3实验中，它会将官方提供的64×64画面放大为512×512的PNG图像，同时保留物体的颜色、外观和空间关系，让模型能直接观察环境。无损视觉记忆组件则会在每次执行动作后，完整保存环境返回的所有画面，包括动作过程中的动画中间帧，并按照回合号和帧号建立索引，这样模型无需提前判断哪些信息值得保留，就能完整保存所有视觉经验留待后续使用。主动视觉检查组件则负责让模型按需回看历史画面，通过inspect工具，模型可以指定某个历史回合调出对应画面，也能裁剪、放大局部区域检查细节，还能一次调出多帧画面对比动作前后的变化，整个过程就像给模型配备了一套可随时翻阅的视觉档案。
VISTA的执行流程遵循着清晰的逻辑，每个回合开始时，模型会先观察当前画面和可用动作，结合此前积累的经验判断环境状态，并提出下一步行动的假设。如果现有信息不足，就调用工具回看历史画面、放大局部区域，甚至读取具体像素信息寻找证据。找到证据后，模型会先预测操作可能带来的变化，等动作执行完毕，将实际结果与预测对比，修正对环境规则的理解，如此反复，在交互中持续积累经验。为了让模型在长时间任务中保持连贯，VISTA还引入了两份文字笔记：GUIDE.md记录不同关卡间可复用的规则和经验，WORKING.md记录当前关卡的状态、进度和后续计划。当上下文接近上限时，模型会整理交接摘要，再进入新的上下文窗口继续任务，所有笔记、动作历史和视觉档案都会保留。值得注意的是，VISTA不会将所有历史图片都塞进模型上下文，每次执行动作后默认只展示最后一帧，动作过程的中间画面则保存在视觉档案中，等模型需要时再调取，既保留了完整视觉信息，又避免了大量历史图片占用上下文空间。
除了ARC-AGI-3的评测，团队还在GameWorld、AI GameStore和BabyVision三个基准上测试了VISTA，覆盖浏览器游戏、迷宫和连线等任务。使用相同的GPT-5.6 Sol模型，相比官方基础框架，VISTA在GameWorld的170项任务中，将成功率从40.0%提升到了63.3%；在AI GameStore的10个游戏中，综合得分从47.3升至140.3（人类中位数归一化为100）；在BabyVision的39道迷宫与连线题上，准确率从41.0%提高到了63.2%。即便是只有静态图片的任务，模型也能通过放大局部、检查像素来改善判断，这些结果表明，保存原始画面并让模型按需回看，能进一步发挥现有多模态模型的能力，且这套框架只需少量适配就能用于不同游戏与谜题，展现出了在更多视觉任务中的应用潜力。
这项研究的三位共同第一作者为Qiushi Han、胡珂雅和Linlu Qiu，另外两位作者为Cathy Wu和何恺明。Qiushi Han是MIT运筹研究中心博士生，导师为Cathy Wu；胡珂雅是MIT电气工程与计算机科学系博士生，由何恺明和Jacob Andreas联合指导，本科毕业于上海交通大学ACM班，研究兴趣集中在语言与视觉的交叉领域；Linlu Qiu是MIT电气工程与计算机科学系及计算机科学与人工智能实验室的博士生，导师为Yoon Kim和Jacob Andreas，研究方向包括自然语言处理和机器学习；Cathy Wu是MIT土木与环境工程系、数据系统与社会研究所副教授；何恺明是MIT电气工程与计算机科学系终身副教授，曾任职微软亚洲研究院和FAIR，于2024年加入MIT，是ResNet、Mask R-CNN和MAE等经典工作的主要作者。
