文章摘要
谷歌近日推出了Genie4,这是目前为止最逼真、交互性最强的世界模型。它具备多项核心能力:基于GeminiOmni构建的照片级真实感,能呈现空间与主题中的精细细节;适配空气动力学、碰撞效果及自然运动的

谷歌近日推出了Genie 4,这是目前为止最逼真、交互性最强的世界模型。

它具备多项核心能力:基于Gemini Omni构建的照片级真实感,能呈现空间与主题中的精细细节;适配空气动力学、碰撞效果及自然运动的高级物理特性;支持通过指令实时调整场景、添加元素或与角色互动;可同步生成环境音、音乐、背景噪音及互动对话的原生音频;还有Gemini推理能力,能规划多步骤事件,确保场景演变时的连贯性。

这些功能是朝着开发安全虚拟环境迈出的重要一步,可用于观测智能体和机器人在真实场景中的导航表现。

核心交互体验

Genie 4最大的突破在于用户可通过键盘在生成的立体场景中自由移动,随时输入指令修改场景,甚至能与场景中的角色实时对话。

当用户输入指令后,屏幕会呈现一个实时运转的三维环境,用户可通过方向键控制镜头移动;若对当前场景不满意,可直接输入调整指令,比如将晴天改为阴天,或在路边添加一个行走的人物,模型会在维持原有画面稳定的同时,无缝融合新内容。

同步生成的音频能力

该模型实现了画面与声音的同步生成,水流声、风声、乐器声都会随画面一同呈现。

例如,当画面中有中年男子在湖中央平台吹萨克斯时,不仅能看到人物动作,还能听到水浪声、吹奏的乐曲及换气声。

场景中的角色并非静态木偶,可在环境中自由行走、绕开障碍物,还能响应用户的语音指令进行对话。

技术支撑:Gemini大模型的作用

这类互动画面的生成曾面临逻辑混乱的难题,比如场景中突然消失的墙壁或物品。

谷歌为Genie 4接入了Gemini大模型解决这一问题:Gemini Omni负责提升画面真实度,让光影、材质更贴近现实;Gemini 3.8 Flash则作为后台监工,逐帧检查画面状态,将用户指令拆解为具体步骤,确认每一步的合理性后再推进场景演变,若用户中途修改指令,会立即调整后续逻辑,避免画面紊乱。

此外,谷歌还测试了Gemini 4 Argon模型,在跳棋测试中,它将任务拆解为多步指令传递给Genie 4,最终让Apollo人形机器人完成了连贯的跳棋操作。

当前使用范围与局限

目前普通用户暂无法使用Genie 4,它仅向少数测试人员开放,后续会逐步扩展至Google AI Ultra订阅用户,以及Gemini API和Google AI Studio的部分开发者。

Genie 4仍存在明显缺陷,短时间体验时画面可维持稳定,但运行时间过长或用户频繁修改指令,场景中的物体易出现错位、变形。

此外,更复杂的物理对抗、清晰的文字渲染、超长时间的空间记忆等问题,团队仍在持续研究。

为防止生成内容被用于造假,Genie 4输出的所有画面和音频都添加了不可见的SynthID水印。

未来目标

项目团队的长期目标是打造混合世界模型,将代码与语言模型的逻辑推导能力,和像素生成模型结合,由前者负责规则与走向,后者负责画面与声音的生成。

以上内容不代表本平台立场,仅供读者参考