AI在线 AI在线

谷歌旗下 DeepMind 推出 Genie 2 模型,可生成长达 1 分钟的游戏世界

作者:远洋
2024-12-05 07:06
谷歌旗下人工智能研究机构 DeepMind 发布了一款名为 Genie 2 的新型模型,可通过单张图片和文字描述生成“无限”种类的可玩 3D 世界。作为今年初推出的 Genie 模型的升级版,Genie 2 标志着人工智能在虚拟世界生成领域的一次重大突破。

谷歌旗下人工智能研究机构 DeepMind 发布了一款名为 Genie 2 的新型模型,可通过单张图片和文字描述生成“无限”种类的可玩 3D 世界。作为今年初推出的 Genie 模型的升级版,Genie 2 标志着人工智能在虚拟世界生成领域的一次重大突破。

谷歌旗下 DeepMind 推出 Genie 2 模型,可生成长达 1 分钟的游戏世界

Genie 2 能够根据用户输入的文本描述和图像,实时生成交互式的三维场景。例如,输入“森林中的可爱人形机器人”,模型便可构建一个包含机器人角色和可探索环境的动态场景。用户可以通过键盘或鼠标操作角色在世界中进行跳跃、游泳等互动。

DeepMind 表示,Genie 2 可以生成具有不同视角(如第一人称视角和等距视角)的连贯世界,持续时间长达一分钟,其中大多数持续 10 到 20 秒。

谷歌旗下 DeepMind 推出 Genie 2 模型,可生成长达 1 分钟的游戏世界

谷歌旗下 DeepMind 推出 Genie 2 模型,可生成长达 1 分钟的游戏世界

谷歌旗下 DeepMind 推出 Genie 2 模型,可生成长达 1 分钟的游戏世界

DeepMind 还称,Genie 2 在生成过程中能够模拟物体交互、动画、光照、物理反射以及“非玩家角色”(NPC)的行为。许多生成的场景画质接近 AAA 级别的电子游戏,甚至在物体视角一致性和场景记忆方面表现优异。

与之类似的模型还有李飞飞创立的 World Labs 和以色列初创公司 Decart 的产品,虽然大多数像 Genie 2 这样的模型 —— 也就是世界模型 —— 可以模拟游戏和 3D 环境,但存在伪影、一致性和幻觉相关的问题。例如,Decart 的 Minecraft 模拟器 Oasis 分辨率低,并且很快就会“忘记”关卡的布局。然而,Genie 2 可以记住模拟场景中不在视野范围内的一部分,并在它们再次可见时准确地渲染它们。(World Labs 的模型也可以做到这一点。)

值得注意的是,DeepMind 未详细披露 Genie 2 的训练数据来源,但业内推测其可能包括大量热门游戏的游玩记录。考虑到谷歌可访问 YouTube 海量视频资源,并声称拥有使用其内容进行训练的权利,这引发了外界对该模型是否侵犯知识产权的争议。

目前用 Genie 2 创建的游戏实际上不会那么有趣,因为每隔一分钟左右就会抹去进度。因此,DeepMind 将其定位为研究与创意工具,应用于快速原型设计和 AI 智能体评估等场景。

DeepMind 在其博客中写道:“通过 Genie 2 的泛化能力,概念艺术和手绘草图可以转化为完全互动的环境。这让研究人员能够快速生成多样化的环境,为未见过的任务场景提供评估支持。”

AI在线注意到,谷歌对世界模型研究的投入在持续扩大。今年 10 月,DeepMind 聘请了 OpenAI 前视频生成项目负责人 Tim Brooks,同时两年前从 Meta 挖来了以开放式实验闻名的 Tim Rocktäschel。

相关标签:

相关资讯

谷歌世界模型爆发:单张图生成可玩3D世界,还要和马斯克一起做AI游戏

昨晚,世界模型向前迈出了一大步! Google DeepMind 震撼宣布了他们的新一代世界模型 Genie 2,其可根据一张图生成可供人类或 AI 智能体游玩的无限 3D 世界。 消息发布后,好评与震惊如潮水般涌现。
12/5/2024 12:01:00 PM
机器之心

3D版Midjourney来了?Luma AI发布Genie 1.0,生成手办只需10秒

机器之心报道机器之心编辑部文生 3D 模型又来新玩家。随着生成式 AI 的浪潮席卷而来,科技公司都在冲击 AIGC 的下一个突破口 —— 3D 生成。目前,文生 3D 在学术界取得了许多新突破。在产业界,无论是像英伟达这样的行业巨头,还是像 Stability AI 这样的中坚力量,都推出了自己的文生 3D 工具。虽然 3D 生成领域一直「卷」到飞起,但是好像一直没有出现一款效果足够惊艳,生成速度足够快的代表性产品。如今,一直致力于 3D 内容生产的 Luma AI 向这一领域发起了挑战。就在昨天,Luma AI
1/15/2024 10:10:00 AM
机器之能

最强 AI 程序员 Genie 砸饭碗:84 秒跑通代码,像人一样思考,团队仅 5 人

继 Devin 之后,又一个 AI 软件工程师被刷屏了 —— 它叫 Genie,号称目前地表最强,已经可以像人一样思考和行动了!那么这个“地表最强”,到底强到什么程度?先来看下评测分数。在权威榜单 SWE-Bench 中,Genie 以解决了 30.07% 问题的成绩夺得榜首。(SWE-Bench 是一个用来评估大模型解决现实中软件问题的基准。)而这个成绩可谓是遥遥领先第二名 19.27%,解锁了提升 SOTA 的最大增幅 —— 57%!至于 Genie 的实际效果,用团队的话来说就是:它可以做到像人类工程师一样解
8/13/2024 2:00:40 PM
汪淼