何恺明团队推出VISTA 多模态模型可回看视觉细节
不用重新训练的多模态视觉推理工具来了！何恺明团队推出的VISTA，一套视觉原生的Harness，让现有多模态模型可以直接观察环境、保存原始画面，并在推理时随时回看、放大和检查细节，无需从头训练基础模型。
相较于传统将环境抽象成文字或代码的做法，VISTA完整保留了原始的视觉信息。模型可以根据当前的问题，将过往看过的画面重新调入上下文，参与当前的判断与推理。借助这套方法，视觉经验成为了模型可随时调用、反复检查的上下文，多模态模型也拥有了围绕视觉记忆搭建的原生脚手架。
在官方评测中，搭配VISTA的Claude Opus 5.0完成了ARC-AGI-3全部25个公开游戏，相对人类动作效率得分达到满分100，所用游戏动作数比首次游玩的人类基线少57.4%；换成GPT-5.6 Sol，同样实现全部通关，得分达到99。
团队还在浏览器游戏、迷宫和连线题中验证了这套方法，并将更接近物理世界的具身任务列为后续研究方向。
从ResNet、Mask R-CNN到MAE，视觉感知与表征学习始终是何恺明研究的主线。这一次，VISTA瞄准了一个新的核心问题：如何让模型在持续交互中积累、保存并利用视觉经验？
答案的核心在于Harness。此前相关研究曾以长时间编程任务为例，介绍了Harness如何帮助模型跨越多个上下文窗口，持续推进任务。这类Harness通过任务清单记录未完成事项，通过进度文件和代码保存已完成的工作，让模型即使进入新的上下文窗口，也能通过读取这些信息了解此前的工作进度和后续计划，让复杂任务可以分步执行、检查结果，并在不同上下文窗口之间接续工作，一定程度上推动了当前Agent能力的爆发。
但在现实的视觉环境中，仅依靠文字记忆显然存在明显局限。模型不仅需要记住物体的位置、朝向，还要理解每次动作前后的环境变化；同时，模型第一次看到画面时，未必能预判哪些细节会在后续任务中变得重要，而复杂的视觉信息也很难提前用文字笔记完整记录，更难以保证后续执行任务时，记录的信息依然够用。
在ARC-AGI-3这类交互式视觉推理基准中，已有思路是先将画面转换成由数字组成的文本网格，再让模型编写程序模拟环境规则、验证行动方案，但这种方式的问题在于，环境越复杂，物体的外观、空间关系和动态变化就越难被完整转化为文字和代码；随着交互历史变长，早期画面也会被逐渐移出上下文，或被文字摘要替代。
因此，VISTA的核心研究问题转化为：如何在不额外训练基础模型的情况下，让智能体在推理需要时，重新检查过去看到的视觉信息？
基于这个目标，VISTA将环境返回的每一帧原样存到上下文之外，包括动作过程中的动画中间帧，模型需要时再主动调取。在ARC-AGI-3评测中，它既能比较不同时刻的画面，也能放大局部，检查小方块上的朝向标记。其中，文字笔记记录模型当前的理解，原始画面则保留作为重新判断的证据，这种机制被称为对交互历史的显式注意力，模型可以根据正在思考的问题，选择对应的视觉信息重新进入上下文。
为了让模型能够保存并利用过往的视觉经验，VISTA设计了三个核心组件：
- 视觉观测：负责将环境画面清晰提供给模型。在ARC-AGI-3实验中，VISTA会将官方提供的64×64画面放大为512×512的PNG图像，同时完整保留物体的颜色、外观和空间关系，让模型能够直接观察环境细节。
- 无损视觉记忆：负责保存模型看到的所有画面。每次执行动作后，VISTA都会完整保存环境返回的全部画面，包括动作过程中的动画中间帧，并按照回合号和帧号建立索引。这样一来，模型无需提前判断哪些信息值得记住，只需将视觉经验完整保存下来，留待后续使用。
- 主动视觉检查：负责让模型按需回看历史画面。通过inspect工具，模型可以指定某个历史回合调出对应画面，也可以裁剪、放大局部区域检查其中的细节；如果想了解某次操作带来的变化，还可以一次调出多帧画面对比动作前后的差异。整个过程相当于为模型配备了一套随时可翻阅的视觉档案，让它不仅能看到当前环境，还能主动回看过往的观察结果，为后续行动提供依据。
这三个组件如何配合工作？按照VISTA的执行流程，每个回合开始时，模型会先观察当前画面和可用动作，结合此前积累的经验判断当前环境的状态，并提出下一步行动的假设。如果现有信息不足，模型就可以调用工具，回看历史画面、放大局部区域，甚至读取具体的像素信息，进一步寻找证据。
找到证据之后，模型并不会直接行动，而是先预测这次操作可能带来的变化。等动作执行完毕，再将实际结果与预测进行对比，检查自己的判断是否正确，并据此修正对任务规则的理解。如此反复，模型就能在持续交互中一边探索环境，一边积累经验。
当然，仅靠视觉档案还不足以支撑长时间的连贯任务。为了让模型在长周期任务中保持逻辑连贯，VISTA还引入了两份文字笔记：
- GUIDE.md：记录不同关卡之间可以复用的规则和经验。
- WORKING.md：记录当前关卡的状态、进度和后续计划。
当上下文接近上限时，模型会先整理交接摘要，再进入新的上下文窗口继续执行任务，此前的文字笔记、动作历史和视觉档案都会完整保留。值得注意的是，VISTA虽然完整保存了历史画面，却不会将所有图片一股脑塞进模型的上下文：每次执行动作后，框架默认只向模型展示最后一帧，动作过程中的中间画面则统一保存在视觉档案里，等模型需要时再主动调取。这样既保留了完整的视觉信息，也避免大量历史图片持续占用上下文空间。
更重要的是，VISTA并没有为此额外训练一个新模型。环境理解、行动规划和推理仍然由现成的多模态模型完成，Harness则负责执行工具调用、保存视觉历史，并在模型需要时提供相应的证据。换句话说，VISTA改变的不是模型本身，而是模型获取、保存和使用视觉信息的方式。
除了ARC-AGI-3的实验以外，团队还在GameWorld、AI GameStore和BabyVision三个基准上测试了VISTA，覆盖浏览器游戏、迷宫和连线等任务。使用相同的GPT-5.6 Sol模型，相比官方基础框架，VISTA在GameWorld的170项任务中，将成功率从40.0%提高到63.3%；在AI GameStore的10个游戏中，综合得分从47.3升至140.3，其中人类中位数被归一化为100；在BabyVision选取的39道迷宫与连线题上，准确率从41.0%提高到63.2%。即使是只有静态图片的任务，模型也能通过放大局部、检查像素改善判断。
这些结果表明，保存原始画面、让模型按需回看，可以进一步发挥现有多模态模型的能力。同一套VISTA框架只需少量适配，就能用于不同的游戏与谜题，也展现了它在更多视觉任务中的应用潜力。
在研究结论中，团队将未来的验证方向指向更接近物理世界的具身任务：让模型在持续变化的环境中，保存、复查并利用自己的视觉经验，决定下一步行动。
这项研究的论文作者包括三位共同第一作者Qiushi Han、胡珂雅和Linlu Qiu，另外两位作者为Cathy Wu和何恺明。
