文章摘要
当前编码代理发展迅速，但缺乏系统评测端到端产品生成能力的平台。亚利桑那大学等团队推出VISTA，它从设计阶段切入，模拟真实开发场景，构建无数据污染数据集，多维度评估，还分析开发流程，是长期演进的开放评测平台。

当前，基于大语言模型的编码代理（Coding Agent）正迎来爆发式发展，从Claude Code、OpenAI Codex到Cursor、Gemini CLI，这类工具已经能够自主完成编码、调试、运行乃至部署完整的Web应用，“AI软件工程师”从概念逐步走向现实。但与此同时，一个关键问题也随之浮现：如果不给AI一份GitHub Issue，而是直接给一张Figma设计稿，它能否开发出真正可交付的产品？

过往的软件工程基准测试，比如SWE-bench、OpenHands等，主要聚焦于代码仓库维护和GitHub Issue修复，极大推动了编码代理的发展。但真实的软件开发流程往往始于产品需求文档（PRD）和视觉设计稿，需要开发者从零开始构建完整的Web应用。这意味着编码代理的能力挑战已经从单纯的代码生成，升级为端到端的产品生成能力，但目前仍缺乏能够系统评测这一能力的公开基准平台。

为填补这一空白，来自亚利桑那大学、Zoom与石溪大学的研究团队推出了VISTA（Visual Spec-To-App Benchmark）——首个面向视觉设计稿到Web应用的端到端编码代理评测基准。

与传统软件工程基准不同，VISTA并不要求代理修复已有代码，而是让代理根据产品需求、网页设计稿和Figma信息，从零构建完整、可运行且具备真实交互能力的Web应用。其在线排行榜会持续评测主流编码代理，并从产品质量、开发效率和成本等多个维度对比真实软件开发能力，解答“谁更会开发产品”这一核心问题。

VISTA的核心设计逻辑

不同于传统基准聚焦于“修改代码”，VISTA的核心目标是验证AI是否真正能够开发完整的软件产品。因此，VISTA并未将任务定义为代码补全或修复已有仓库，而是直接从产品设计阶段切入。每个评测任务都要求代理根据产品需求、网页截图和Figma设计，自主理解页面布局、分析组件层级、选择开发框架，最终实现可运行的多页面Web应用。与传统的设计转代码工作不同，VISTA要求代理完成完整的软件开发流程：从理解需求、检查上下文、实现页面与交互逻辑，到启动应用，再到运行失败后的调试修复，整个流程更贴近真实的软件开发场景，而非理想化的静态网页生成任务。

三大核心目标

VISTA主要围绕三大核心目标构建： 首先，聚焦真实的软件开发全流程。代理不仅需要生成静态HTML，还要完成页面导航、状态管理、交互逻辑乃至应用部署等完整开发任务。 其次，强调视觉设计驱动的软件开发。除自然语言需求外，基准测试同时提供网页截图和裁剪后的Figma结构信息，让代理能够真正理解产品设计，而非仅依赖文本描述。 最后，打造可持续更新的基准平台。编码代理的迭代速度极快，传统论文中的实验结果往往仅代表某一时间点的状态。为持续追踪模型能力的发展，VISTA将长期维护在线排行榜，随着各类模型和框架的更新持续刷新评测结果，而非停留在静态的实验数据中。

构建无数据污染的真实评测数据集

一个基准测试的可信度很大程度上取决于其数据集的质量。对于编码代理来说，直接使用互联网上的现有网页构建基准并非理想选择：HTML、CSS和JavaScript早已广泛存在于大语言模型的训练数据中，直接采用真实网页很容易受到数据污染的影响，导致模型表现被高估。因此，VISTA并未从现有网页出发，而是以Figma设计稿作为整个基准的起点，将Figma渲染截图和结构化JSON作为真实参考。 整个基准覆盖了10类典型的Web应用场景，包括新闻、房产、招聘、论坛、旅行预订、聊天、云存储、电商、项目管理和音乐流媒体，共包含128个页面。为保证评测质量，团队对原始Figma JSON进行了裁剪，仅保留与开发密切相关的页面布局、组件层级、文本标签和交互目标等信息。同时，团队对所有页面进行了细粒度人工标注，共标记3253个可交互组件和458个视觉锚点，为后续评测提供统一、稳定的参考标准。与传统网页数据集相比，VISTA更关注代理是否真正理解了产品设计，而非仅生成一段网页代码。

多维度输入设置，贴近真实开发场景

真实的软件开发并不存在统一的输入形式：有时开发者仅拿到一份PRD，有时只有设计稿，有时则能拿到完整的Figma文件。为尽可能贴近这些真实场景，VISTA从设计信息丰富度和开发自由度两个维度，设计了五种Prompt条件。 一方面，输入从纯文本需求逐步增加页面截图和Figma结构信息，让代理获得越来越丰富的产品上下文；另一方面，基准测试同时评测固定技术栈和自由技术栈两种开发模式，以分析开发约束对代理表现的影响。 这种设计不仅能够对比不同编码代理的整体能力，还能回答多个细粒度的问题：页面截图究竟能带来多少帮助？Figma的结构信息是否真正有价值？技术栈约束是否会影响代理的开发能力？相比传统基准的单一测试设置，VISTA能够更系统地刻画不同开发条件下代理的能力边界。

基于DOM的精准评测，验证产品可用性

当前不少网页生成基准主要依赖浏览器代理或大语言模型判断生成结果，虽然扩展性较好，但在复杂UI场景中容易受到模型本身的影响，难以稳定评估真实的软件质量。 VISTA采用了更直接的DOM-Grounded Evaluation评测思路，能够同时衡量两个核心维度：生成的界面是否保留了参考结构，以及匹配的元素是否实现了预期行为。整个评测分为四个步骤： 第一步，坐标对齐：每个参考稿都标注了关键交互目标，包括包围框和预期交互类型（导航、文本输入、开关、外链、弹窗等）。由于生成的应用可能存在平移、缩放或布局重排，评测器会先通过高置信度的语义锚点估计逐轴仿射变换，将参考稿坐标映射到渲染页面的坐标系中。 第二步，DOM元素匹配（定位）：评测器在真实浏览器中渲染生成的应用，将每个参考页面映射到对应的实现URL，再将标注目标匹配到页面上可见的可交互DOM候选元素。这一步本身就是结构一致性的度量：只有当预期组件确实以真实DOM元素存在，且对齐后出现在参考位置附近时，才能获得高定位分。这一设计能够有效惩罚那些仅视觉上合理但不可交互的“画出来的按钮”、缺失的控件、错位的组件和塌陷的页面结构，这些问题往往是纯图像指标容易遗漏的。 第三步，行为专项检查：完成定位后，评测器会对匹配的DOM元素执行针对具体交互类型的检查，覆盖前端状态变化、导航/路由行为，以及任务需要时的后端或类数据库状态更新。 第四步，分数聚合：对每个关键交互，评测器会给出定位分和行为分，最终的结构-功能分数是两者逐项相乘后的平均值。这种相乘的设计意味着，一个交互必须同时满足“位置正确”和“行为正确”才能得分。 VISTA的DOM-Grounded Evaluator确保每个交互都会得到定位和行为两个分数，共同决定最终得分。这意味着，一个组件只有位置正确且功能正常，才能获得高分；如果只是“画出了一个按钮”却无法点击，或者页面布局正确但交互失效，都无法通过评测。相比仅关注视觉相似度，VISTA的评测思路更贴近真实开发场景，能够回答“代理开发的网站究竟能否真正交付给用户使用”这一核心问题。

多维度综合评估，覆盖质量、效率与成本

对于真实的软件开发而言，最终效果只是评价标准之一。一名优秀的软件工程师，不仅需要“做得好”，还要“做得快”和“做得省”。编码代理同样如此。 因此，VISTA除了评估最终产品质量外，还会持续统计每个代理完成任务所消耗的Token数量和实际开发时间，帮助开发者从工程角度全面评估不同模型。 从目前的评测结果来看，不同模型展现出了明显不同的开发策略：比如Claude Code harness+Fable-5整体保持了较高的产品质量，但通常会消耗更多Token并花费更长时间完成开发；Claude Code harness+GLM-5.2在开发速度和Token消耗之间取得了较好的平衡；Codex+GPT-5.5则以相对较低的Token消耗获得了接近头部模型的性能，体现出较高的开发效率。 这些结果说明，未来评价编码代理不应仅依赖单一的质量排行榜。不同模型正在形成各自的工程风格：有的追求最高质量，有的强调开发效率，有的则注重成本控制。因此，VISTA希望提供的不只是“谁最好”的排名，而是一份完整的AI软件工程师能力报告，帮助研究者从质量、速度、成本和开发流程等多个维度，理解不同编码代理的真实能力。

深入分析开发流程，揭示代理工作逻辑

除了最终得分，VISTA还会进一步分析编码代理的开发过程。研究团队将整个开发流程拆解为上下文检查、代码编写、结果验证、错误恢复等多个阶段，从而观察不同模型在软件开发过程中的行为差异。 分析发现，尽管不同模型都遵循“先理解、再开发、最后验证”的整体流程，但在开发策略上存在明显区别：比如Claude系列模型更倾向于反复检查上下文，在失败后重新诊断问题再继续开发；而GPT系列模型则采用更多样化的修复路径，在验证和错误恢复之间的切换更加频繁。这些分析不仅揭示了不同编码代理的工作风格，也为未来代理工作流的优化提供了新的研究视角。相比仅关注最终分数，VISTA希望进一步回答“优秀的编码代理究竟是如何完成软件开发的”这一问题。

长期演进的开放基准平台

与许多发布后便停止维护的基准测试不同，VISTA希望成为一个长期演进的开放平台。未来，团队将持续引入最新模型、最新框架和新的应用场景，不断更新在线排行榜，与社区共同记录编码代理的能力演进。 从产品需求理解到视觉设计解析，从网页生成到交互验证，再到开发流程分析，VISTA将“看图写网页”拆解为视觉理解、页面定位、交互行为和代理工作流等多个维度，希望为AI驱动的软件工程研究提供一个更真实、开放且可复现的评测平台。 随着编码代理从“写代码”逐步迈向“开发产品”，软件工程基准测试也需要从代码-centric评测转向产品-centric评测。我们相信，未来评测一个编码代理，不应只问“它会不会写代码”，更应该问“它能否真正交付一个产品”。VISTA希望成为回答这一问题的起点。

项目团队

本工作由亚利桑那大学、Zoom与石溪大学的研究团队合作完成。团队长期从事AI代理、大语言模型、多智能体系统等方向的研究，近期重点关注AI for Software Engineering、编码代理的评测、优化与应用，希望推动更开放、可复现的软件工程基准建设。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。

以上内容不代表本平台立场，仅供读者参考