谷歌发布Genie 4:能发声、可实时操控的世界模型
10月28日,谷歌DeepMind正式推出新一代世界模型Genie 4。这是该系列一年多来的首次大版本更新,也是DeepMind迄今最逼真、最具交互性的世界模型:它生成的虚拟世界不仅看得见、走得动,还能实时发出声音——环境音、音乐和角色对话都与画面同步生成,并且用户可以在模拟进行中用一句话改变天气、镜头或场景中的人物与物体。
不只是视频,而是一个能走进去的世界
世界模型与视频生成模型有一个关键区别:视频模型产出一段供人观看的片段,而世界模型产出一个供人进入的场所。用户可以用键盘在Genie 4生成的场景中行走,视角随操作实时变化;更重要的是,世界会回应操作——开门、靠近角色、改变环境,画面都会随之连续演算,而不是跳切到另一段预制视频。
据DeepMind介绍,Genie 4是其首个原生支持音频的实时世界模型。风声、海浪、脚步声等环境音,背景音乐,以及场景中角色的对话,都是与画面一同实时生成的。角色不再是只会走动的“布景”,而是会根据用户的行为和世界中发生的事件即时交谈和作出反应。
边玩边改:一句话就能改写场景
Genie 4的另一大变化是实时操控。用户可以在模拟进行中输入自然语言指令,例如“改成雨天”“把镜头拉远”“加一个路人”,世界会即时按指令调整,并且尽量让改动贴合已有场景,而不是生硬替换。DeepMind表示,Gemini模型在其中扮演了“导演”的角色:负责理解指令、把目标拆解成步骤,并在生成过程中检查画面的连贯性。
在视觉表现上,Genie 4同样比上一代前进了一步。DeepMind称其画面更加逼真,物理表现有所改进——包括碰撞、运动等真实世界规律的模拟——角色也更像真人。场景的连贯时长也翻了一倍:从Genie 3的约1分钟延长到最长约2分钟。这意味着一段模拟可以维持更久而不“穿帮”,对需要连续镜头的创作和测试场景尤为重要。
先给受邀测试者,之后向订阅用户开放
与Genie 3发布时一样,Genie 4目前仍处于研究预览阶段,首批仅开放给受邀的可信测试者。DeepMind表示,接下来它将通过Project Genie向Google AI Ultra订阅用户开放,并向Gemini API和Google AI Studio的早期合作伙伴提供接入,同时已开放公开候补名单。也就是说,普通用户目前还用不上,但离正式产品又近了一步。
DeepMind还强调,所有由Genie 4生成的视频和音频都会带有SynthID水印。这是谷歌用于标识AI生成内容的隐藏水印技术,旨在帮助外界识别一段内容是否由AI生成。
瞄准影视、游戏与机器人训练
在用途上,DeepMind把Genie 4定位在三类场景。首先是影视前期制作:导演和美术团队可以先走进一个实时生成的场景试拍多个版本,再决定正式拍摄方案。其次是游戏原型:开发者可以从一个想法出发,几分钟内得到一个可探索的原型世界,而不必先写引擎代码。第三是机器人训练:把现实中难以复现或有风险的场景放在模拟世界里先行测试。
据报道,在一项Gemini机器人实验中,Gemini模型负责把任务拆解成步骤,再由Genie 4实时模拟执行过程,指向“先在模拟中验证、再部署到真实机器人”的工作流。不过DeepMind的工程师也坦言,目前仍处于早期阶段,最终产品形态尚未确定。
仍有限制:长场景会“漂移”
Genie 4并非没有短板。DeepMind和参与测试的工程师都提到,在较长的模拟中,物体细节可能逐渐漂移、走样,音频的准确性也有待提高。换句话说,它更像一个强大的实时灵感与测试工具,而非可以直接交付成片的生产工具。这些限制也解释了它为什么仍以研究预览的形式发布。
世界模型赛道正在加速整合
Genie 4的发布正值世界模型赛道加速洗牌。就在几个月前,AI视频公司Runway推出了第二代世界模型GWM Worlds 2,同样主打实时交互与音频生成;与此同时,行业整合也在发生:AMD收购了李飞飞创立的World Labs,亚马逊被曝正在洽购Decart,Rivian则收购了Third Dimension以补强自动驾驶仿真能力。巨头与初创公司同时涌入,说明“可交互的模拟世界”正从研究演示走向产业竞争的焦点。
从Genie 3到Genie 4,变化的方向很清晰:画面更真、时间更长、首次有了声音、并且可以边运行边改。对中文读者来说,最值得关注的不是某一段演示视频有多惊艳,而是这条技术路线正在把AI从“生成内容”推向“生成可进入、可测试的世界”——影视、游戏和机器人,可能是最先感受到变化的三个行业。至于它何时真正向所有人开放,还要看接下来Project Genie与API接入的推进速度。