谷歌Genie 4发布:边跑模拟边改天气,场景维持时长翻倍至两分钟
Google DeepMind周二发布了世界模型Genie 4,目前是研究预览阶段。谷歌说,这是迄今生成效果最逼真、可交互性最强的世界模型版本。大概一年多前,Genie 3也是用同样方式发布的。
世界模型是AI系统的一个类别。它不生成单张图像或一段固定视频,而是生成一个能持续存在、随时响应操作的虚拟环境。两代之间最直观的差别在这:Genie 4允许你边跑模拟边输入文字提示,实时改动场景。天气说改就改,相机角度随时调,新的人物、物体也能直接加进画面。这些操作全凭文字完成,不用编程,也不用把整个场景推倒重来。
场景一致性维持时长提到了两分钟,是前代的两倍;物理效果和人物角色也更接近真实。两分钟的上限意味着Genie 4目前只能做短时互动,撑不起需要长时间连贯叙事的体验。团队也承认还有明显缺口:模拟一长,细节和物体会漂移;音频准确性还没完全解决;世界里的文本能不能保持清晰可读,也是未知数。他们没说,哪些场景下音频会失准,实时编辑在复杂场景里能稳定到什么程度。
Genie 4生成的不只是画面,还会同步输出匹配场景的音频——音乐、环境噪音、交互式对话都有。声音和画面一旦不同步,沉浸感就垮了。音频这块没完全理顺,是最容易露馅的短板。
DeepMind在互动学习方向举了个推测性例子:走进一幅历史场景的绘画,跟画里的人聊画里记录的事件。游戏、互动学习、机器人技术,是被点名的商业应用方向。
Gemini这次和Genie 4集成得更紧密。Gemini当导演,负责规划步骤、检查画面帧;Genie 4负责生成视觉内容。在Gemini Robotics相关实验里,Gemini 4 Argon把一个任务拆成若干步骤,Genie 4实时模拟每一步。这在机器人开发上是一种可能路径:真实世界动作发生之前,先在虚拟环境里试一遍,省掉现实世界的反复试错。Google研究总监Tejas Kulkarni在简报会上说,以后会越来越多地出现混合世界模型。这类模型里,Gemini写代码和文本,Genie实时接收指令,在不同抽象层级上模拟现实。
可信测试者——第一批接触谷歌前沿产品的人——正在给Genie 4找一个新用途:电影原型制作。原型就是把构思阶段的想法快速变成看得见的画面,让还没定型的故事先在屏幕上过一遍。Google DeepMind工程师Diego Rivas在简报里解释,实时性在构思和故事板阶段最有价值。那一段是创意流程里最需要快速迭代的地方。
谷歌手上还有一个视频生成模型Veo,从文本、图像或视频提示就能生成高清片段,自带同步音频。它在电影制作人里越来越受欢迎。Rivas补充说,以后创作者可能依靠Gemini Omni,把原型转化成正式创意素材。Gemini Omni是一个多模态大语言模型,能从图像、音频和文本生成视频。不过他也明确说,这些能力还有一段距离。整场简报里他反复强调同一个意思:现在仍是早期,端到端产品体验会是什么样,还不清楚。
Genie 4现在向可信测试者开放。接下来几周,模型会通过Project Genie向Google AI Ultra订阅者推出。Project Genie是谷歌从文本或图像提示生成互动世界的AI工具。Gemini API和Google AI Studio的早期访问合作伙伴也会拿到使用权限。
竞争对手也没闲着。Runway在几个月前发布了第二个世界模型GWM Worlds 2,能播放、会对用户输入动态响应,还带音频生成。行业并购也在发生。李飞飞的World Labs正在被AMD收购;Amazon在洽谈买下Decart。Rivian收购了Third Dimension,把自动驾驶测试的模拟能力收进内部。世界模型正在从研究项目变成大公司手里的资产。Genie 4是谷歌在这个拥挤赛道里保持领先的最新动作。
关键事实
- Google DeepMind于周二发布Genie 4世界模型,处于研究预览阶段。
- Genie 4能生成最逼真且可交互的世界,用户可在模拟过程中输入提示来改变场景。
- Genie 4能生成与模拟世界匹配的实时音频,包括音乐、环境噪音和交互式对话。
- Runway在几个月前发布了其第二个世界模型GWM Worlds 2,该模型可播放、对用户输入动态响应并包含音频生成。
- 世界模型行业开始整合:Fei-Fei Li的World Labs被AMD收购,Amazon在洽谈收购Decart,Rivian收购了Third Dimension用于自动驾驶测试的模拟能力。
- Genie 4是Google在拥挤领域保持领先的最新举措。
- Genie 3在一年多前作为研究预览发布。
- Genie 4允许自由形式编辑,如实时改变天气或相机角度,或添加新人物或物体。