谷歌旗下 DeepMind 推出 Genie 2 模型,可生成长达 1 分钟的游戏世界

谷歌旗下人工智能研究机构 DeepMind 发布了一款名为 Genie 2 的新型模型,可通过单张图片和文字描述生成“无限”种类的可玩 3D 世界。作为今年初推出的 Genie 模型的升级版,Genie 2 标志着人工智能在虚拟世界生成领域的一次重大突破。

谷歌旗下人工智能研究机构 DeepMind 发布了一款名为 Genie 2 的新型模型,可通过单张图片和文字描述生成“无限”种类的可玩 3D 世界。作为今年初推出的 Genie 模型的升级版,Genie 2 标志着人工智能在虚拟世界生成领域的一次重大突破。

谷歌旗下 DeepMind 推出 Genie 2 模型,可生成长达 1 分钟的游戏世界

Genie 2 能够根据用户输入的文本描述和图像,实时生成交互式的三维场景。例如,输入“森林中的可爱人形机器人”,模型便可构建一个包含机器人角色和可探索环境的动态场景。用户可以通过键盘或鼠标操作角色在世界中进行跳跃、游泳等互动。

DeepMind 表示,Genie 2 可以生成具有不同视角(如第一人称视角和等距视角)的连贯世界,持续时间长达一分钟,其中大多数持续 10 到 20 秒。

谷歌旗下 DeepMind 推出 Genie 2 模型,可生成长达 1 分钟的游戏世界

谷歌旗下 DeepMind 推出 Genie 2 模型,可生成长达 1 分钟的游戏世界

谷歌旗下 DeepMind 推出 Genie 2 模型,可生成长达 1 分钟的游戏世界

DeepMind 还称,Genie 2 在生成过程中能够模拟物体交互、动画、光照、物理反射以及“非玩家角色”(NPC)的行为。许多生成的场景画质接近 AAA 级别的电子游戏,甚至在物体视角一致性和场景记忆方面表现优异。

与之类似的模型还有李飞飞创立的 World Labs 和以色列初创公司 Decart 的产品,虽然大多数像 Genie 2 这样的模型 —— 也就是世界模型 —— 可以模拟游戏和 3D 环境,但存在伪影、一致性和幻觉相关的问题。例如,Decart 的 Minecraft 模拟器 Oasis 分辨率低,并且很快就会“忘记”关卡的布局。然而,Genie 2 可以记住模拟场景中不在视野范围内的一部分,并在它们再次可见时准确地渲染它们。(World Labs 的模型也可以做到这一点。)

值得注意的是,DeepMind 未详细披露 Genie 2 的训练数据来源,但业内推测其可能包括大量热门游戏的游玩记录。考虑到谷歌可访问 YouTube 海量视频资源,并声称拥有使用其内容进行训练的权利,这引发了外界对该模型是否侵犯知识产权的争议。

目前用 Genie 2 创建的游戏实际上不会那么有趣,因为每隔一分钟左右就会抹去进度。因此,DeepMind 将其定位为研究与创意工具,应用于快速原型设计和 AI 智能体评估等场景。

DeepMind 在其博客中写道:“通过 Genie 2 的泛化能力,概念艺术和手绘草图可以转化为完全互动的环境。这让研究人员能够快速生成多样化的环境,为未见过的任务场景提供评估支持。”

AI在线注意到,谷歌对世界模型研究的投入在持续扩大。今年 10 月,DeepMind 聘请了 OpenAI 前视频生成项目负责人 Tim Brooks,同时两年前从 Meta 挖来了以开放式实验闻名的 Tim Rocktäschel。

相关资讯

谷歌世界模型爆发:单张图生成可玩3D世界,还要和马斯克一起做AI游戏

昨晚,世界模型向前迈出了一大步! Google DeepMind 震撼宣布了他们的新一代世界模型 Genie 2,其可根据一张图生成可供人类或 AI 智能体游玩的无限 3D 世界。 消息发布后,好评与震惊如潮水般涌现。

3D版Midjourney来了?Luma AI发布Genie 1.0,生成手办只需10秒

机器之心报道机器之心编辑部文生 3D 模型又来新玩家。随着生成式 AI 的浪潮席卷而来,科技公司都在冲击 AIGC 的下一个突破口 —— 3D 生成。目前,文生 3D 在学术界取得了许多新突破。在产业界,无论是像英伟达这样的行业巨头,还是像 Stability AI 这样的中坚力量,都推出了自己的文生 3D 工具。虽然 3D 生成领域一直「卷」到飞起,但是好像一直没有出现一款效果足够惊艳,生成速度足够快的代表性产品。如今,一直致力于 3D 内容生产的 Luma AI 向这一领域发起了挑战。就在昨天,Luma AI

最强 AI 程序员 Genie 砸饭碗:84 秒跑通代码,像人一样思考,团队仅 5 人

继 Devin 之后,又一个 AI 软件工程师被刷屏了 —— 它叫 Genie,号称目前地表最强,已经可以像人一样思考和行动了!那么这个“地表最强”,到底强到什么程度?先来看下评测分数。在权威榜单 SWE-Bench 中,Genie 以解决了 30.07% 问题的成绩夺得榜首。(SWE-Bench 是一个用来评估大模型解决现实中软件问题的基准。)而这个成绩可谓是遥遥领先第二名 19.27%,解锁了提升 SOTA 的最大增幅 —— 57%!至于 Genie 的实际效果,用团队的话来说就是:它可以做到像人类工程师一样解