工具编排驱动：GenEvolve实现图像生成自我进化
当前AI图像生成技术正在从简单的“一句话出图”模式，向更贴近真实创作流程的开放任务形态演进。在实际创作中，用户的需求往往不止于模糊的文本描述，可能需要画面对齐特定地标、人物或商品，要求参考图的身份一致性、特殊材质表现，或是将模糊的描述转化为清晰的视觉成果，仅靠单次生成模型推理很难稳定满足这些复杂需求。
近期，多所高校和企业的研究团队提出了GenEvolve，一个面向开放图像生成的自我进化智能体框架。它将单次图像生成建模为一套完整的“工具编排轨迹”：智能体先理解用户的具体请求，再依次调用搜索、图像检索和生成知识工具，最终将外部获取的证据、匹配的视觉参考和硬性约束条件整理为prompt-reference program，交由不同的底层生成器完成最终渲染。
- 论文标题：GenEvolve: Self-Evolving Image Generation Agents via Tool-Orchestrated Visual Experience Distillation
- 论文链接：https://arxiv.org/abs/2605.21605
- 项目页面：https://ephemeral182.github.io/GenEvolve/
- 代码链接：https://github.com/MeiGen-AI/GenEvolve
- 模型权重：https://huggingface.co/MeiGen-AI/GenEvolve
- 数据与评测：https://huggingface.co/datasets/MeiGen-AI/GenEvolve-Data-Bench
核心设计：从单prompt到工具编排流程
GenEvolve主要覆盖两类核心生成需求：一类是基于外部知识的锚定生成，也就是需要依赖真实世界的事实信息才能完成的任务，比如还原真实建筑、公众人物、商品结构或特定事件细节；另一类是基于视觉质量约束的锚定生成，需要通过可校验的视觉规则来保障成果质量，比如精准控制画面中的文字、元素数量、布局结构、属性绑定、解剖结构、材质表现和整体美学风格。
为了支撑这些复杂需求，GenEvolve为智能体配置了三类核心工具：文本搜索工具用于补充缺失的事实类证据，图像搜索工具用于获取匹配需求的视觉参考素材，生成知识查询工具用于激活文字渲染、空间布局、材质一致性等复杂场景下的专业生成技能。这意味着，一次图像生成不再只是“编写更长的prompt”，而是包含多轮决策的完整流程：确定需要搜索的内容、选择合适的参考图、调用对应的生成知识技能，最终整理出包含所有约束条件的完整生成程序。
专属数据与评测体系
为了训练这套智能体框架，研究团队构建了GenEvolve-Data和GenEvolve-Bench两大支撑体系。团队没有直接采集普通的prompt-image配对数据，而是从约2万条结构化创作流程模板出发，覆盖实体、地标、产品、事件、文字、布局、计数、属性、解剖、材质、美学和创意转化等全场景需求。
每个用户请求都会先交由Teacher Agent执行完整的工具流程：查询事实信息、检索参考图、调用生成知识、最终编写prompt-reference program。随后这些数据还会经过程序校验、大模型审计、真值图像渲染和视觉过滤环节，最终被切分为SFT训练轨迹、自我进化样本和对应的评测基准集。
双层进化训练机制
GenEvolve的训练过程分为两大核心阶段。首先是SFT冷启动阶段，团队使用高质量的Teacher Agent生成的工具轨迹，对Qwen3-VL-8B-Instruct模型进行监督微调，让模型先掌握基础的工具调用逻辑和程序编写方法。
随后进入自我进化的Rollout阶段：针对同一用户请求采样多条工具轨迹，将轨迹生成的图像交由视觉判分器和文本判分器共同打分，再通过GRPO算法优化轨迹级别的奖励信号。
视觉经验自蒸馏：细化决策优化逻辑
仅依靠轨迹级别的奖励信号仍存在局限，它只能告诉模型哪条轨迹更优，却无法明确说明优化的具体方向。为此，GenEvolve引入了视觉经验自蒸馏机制：系统会对比同一请求下的最优和最差工具轨迹，将两者的差异总结为结构化的Decision Guide，明确指出应该搜索哪些信息、选择哪类参考图、需要规避哪些失败的编写逻辑。
这些经验仅会提供给训练阶段的特权Teacher模型，而Student模型在训练过程中仅能看到普通的输入请求，无法直接读取经验库。Teacher模型在Decision Guide的辅助下生成更优质的token分布，随后通过token级别的反向KL散度，将Teacher在关键决策token上的偏好蒸馏到Student模型中。最终模型学到的并非单一的离线轨迹，而是面对类似请求时如何选择工具、检索参考、组织约束的通用决策习惯。
这也是GenEvolve与仅依靠RL打分优化的框架的核心区别：GRPO提供的是“哪条轨迹值得强化”的宏观方向，而视觉经验自蒸馏则实现了更精细的 credit assignment，明确好轨迹的优势具体体现在工具计划、参考选择还是最终程序的约束写法上。在部署阶段，Student模型无需再调用Decision Guide或经验缓冲区，所有优化后的决策逻辑已经被融入模型参数中。
实验效果与性能表现
在自建的GenEvolve-Bench评测集上，团队对比了主流的直接生成模型和智能体工作流的表现。当底层生成器固定为开源的Qwen-Image-Edit-2511时，GenEvolve的整体KScore达到0.3663，超过了Gen-Searcher的0.3493，尤其是在依赖事实细节和视觉准确性的Knowledge-Anchored任务上，性能提升尤为显著。
当搭配更强的Nano Banana Pro渲染器时，GenEvolve的KScore进一步提升至0.5739，高于Nano Banana Pro原生生成的0.5298，这说明GenEvolve学到的并非针对特定生成器的prompt技巧，而是一套可以迁移到不同渲染器的通用工具编排策略。
消融实验结果显示，未经过调优的Qwen3-VL工作流已经可以利用工具入口，但结果稳定性不足；SFT阶段提升了工具调用和最终程序的质量；GRPO提供了轨迹级别的优化信号；加入视觉经验自蒸馏后，模型在视觉正确性、知识锚定和质量锚定等关键维度上均实现了进一步提升。
研究团队还在公开的WISE知识密集型图像生成基准上进行了域外评估，在不进行领域微调的情况下，GenEvolve使用8B开源策略和Qwen-Image-Edit渲染器，整体WiScore达到0.82，超过了GPT-4o的0.80。
技术意义与开源成果
GenEvolve的核心价值在于将开放图像生成从单次的prompt优化，推进到可学习的工具编排全流程。对于需要外部知识支撑、参考图一致性保障和多重硬约束的复杂生成任务，智能体不再只是简单调用工具，而是通过训练学会如何将工具返回的结果转化为高效的生成程序。
目前，GenEvolve的模型、代码、数据集和评测集均已开源，为图像生成智能体、工具使用、视觉反馈强化学习和开放生成评测等研究方向提供了可复现的实验基础。
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/
AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。
