VAST开源EdenLive 实时生成多风格画面 帧率超24FPS

实时世界模型领域近期迎来重要进展——一款名为EdenLive的技术正式发布并开源。

据相关研发团队介绍，EdenLive首次实现了实时生成前提下的多维度突破：它支持任意参考输入（可接入简化场景或参考视频），可生成写实、二次元等多种画风的精细画面，同时能实现长时连续运行。

具体来说，给它提供简化场景或参考视频，再配上目标首帧和提示词，就能沿着参考的布局与运动，持续生成不同画风的精细画面，且参考来源和生成画风均可灵活指定，这些变化都能在实时生成过程中呈现。

在单张消费级显卡（如RTX 5090）、720P分辨率条件下，5B规模模型的生成速度超过24FPS，且支持分钟级的连续画面生成；从用户输入操作到对应画面输出，端到端延迟仅为百毫秒级，能满足交互场景的实时需求。

画面持续变化的同时，交互规则和世界状态由上游交互系统负责维护——该系统接收玩家操作并更新状态，EdenLive则根据参考画面将这些变化实时渲染为视觉内容，形成完整的交互闭环。

近年来，AI在3D场景搭建与交互创作领域的能力逐渐直观，例如已有模型可在工具中搭建房屋并转入引擎形成可漫游场景。在此背景下，行业逐渐形成共识：由交互系统维护底层状态和运行规则，生成模型负责视觉渲染。而该研发团队早在数月前就明确了这一分工，并在早期研究中提出“状态维护与视觉渲染解耦”的核心设计，比行业共识形成早约3-4个月。

EdenLive的核心技术是“解耦世界状态与视觉渲染”，将世界运行规则和画面呈现分开处理。以街头对打Demo为例，角色的移动、攻击等由玩家操作控制，交互系统接收指令更新状态（位置、动作、血量等），EdenLive则将这些状态实时渲染为对应画面，形成“操作-状态更新-画面反馈”的循环。

在应用场景上，EdenLive可覆盖多个领域：

交互式游戏预览：可支持2D、3D场景的交互式游戏预览，尤其适合场景漫游、推箱子等交互相对低频的玩法。例如岩浆闯关类游戏中，角色可通过冷冻枪制造落脚点并跳跃前进，开发者能在操作游戏原型的同时，直观查看精细画面的呈现效果。此外，双人对打类Demo还能展示角色动作与血条、回合计时等游戏状态的实时配合。

场景与动画预览：在场景布局和运镜确定的基础上，可更换不同的美术风格。比如“鹈鹕骑自行车”的创意场景，生成画面能还原羽毛和海边环境的细致质感，还模拟出真实光影；简单模型搭建的雪地行车场景，经渲染后也能呈现写实的车身纹理、积雪与光影效果。这类生成由三类输入共同控制：参考画面提供布局、镜头与运动，目标首帧设定整体外观和画风，提示词补充风格与细节，同一套布局可生成不同风格版本供选择。

视频重渲染与换皮：对于已有视频，可进行实时重渲染，替换角色形象、画面内容和整体风格。例如将蓝色背景前的真人转换为卡通角色，同时保留人物姿态和服装配色；或将实拍房屋转换为手绘动画风格，保留大体布局的同时用线条勾勒细节，调整色彩与光影效果。这类用法类似虚拟主播换形象，以真人动作作为参考生成新角色外观。

具身数据增强：在具身研究领域，可用于数据增强——将真实人类操作画面转换为机器人视角，修改第一视角视频中的物体和外观。比如人手清洁台面的视频，经处理后双手可替换为机械手，抹布颜色从橙色改为黄色，清洁动作保持不变；也可将人手替换为金属机械手臂，推车扶手改为银色金属质感，抓握和推行动作不变。这类转换能为具身研究扩展多样化的视频样本。

目前，EdenLive仍有需要完善的地方：高频激烈交互对生成速度和动作呈现要求更高，多个角色同时出现时的身份保持、小物体的精细控制，以及长时间生成中的视觉一致性，都有进一步提升的空间。

为推动技术应用，相关研发团队已开放不同规格的模型权重、推理代码，同步公开技术报告和端到端Demo，还将推出一款“Prompt to Proxy Game”工具，用户可快速生成可直接游玩的游戏原型，形成从游戏逻辑到实时视觉呈现的完整链路。