李飞飞「世界实验室」重磅推出 AI“造物主”:一张图片生成 3D 世界“任意门”

刚刚斯坦福大学的李飞飞教授宣布,她带领的World Labs团队推出一个能从单张图片生成 3D 世界的 AI 系统! 不是简单的 3D 建模,而是真正可以交互的 3D 物理场景! 3D场景在浏览器里就能实时渲染,还能用WASD键和鼠标自由控制视角,就像玩游戏一样!

刚刚斯坦福大学的李飞飞教授宣布,她带领的World Labs团队推出一个能从单张图片生成 3D 世界的 AI 系统!不是简单的 3D 建模,而是真正可以交互的 3D 物理场景!

图片

3D场景在浏览器里就能实时渲染,还能用WASD键和鼠标自由控制视角,就像玩游戏一样!简直太酷炫了! 

图片

图片

用户甚至可以体验 3D 相机效果,例如模拟浅景深,即只有与摄像机保持一定距离的物体才能对焦

图片

或“希区柯克式变焦”(dolly zoom)

图片

可以去这里网页体验 https://www.worldlabs.ai/blog

World Labs 要解决啥问题?

现在的生成式 AI 模型,最大的问题就是缺乏控制力和一致性。World Labs 的目标就是解决这个问题!他们的 AI 系统可以根据输入的图片,先估算 3D 几何形状,再填充场景中看不到的部分,还能根据 3D 几何信息创造新的内容,让场景更完整! 这将改变制作电影、游戏、模拟器和其他物理世界数字表现形式的方式

不是预测像素而是预测3D场景

大多数生成模型预测像素, 而预测三维场景则有很多好处:

持久现实:世界一旦生成,就会一直存在。即使你把视线移开,再回来时,场景也不会改不会像某些 AI 模型那样,换个角度就“变脸”

实时控制:生成场景后,您可以实时在场景中移动。你可以停留在花朵的细节上,或者从角落里偷看,看看里面有什么

正确的几何形状:生成的世界遵循 3D 几何的基本物理规则。它们具有实体感和深度感,与某些人工智能生成的视频的梦幻性质形成鲜明对比

可视化方式:World Labs 的系统生成 3D 场景方式是一个称为深度图 (depth map)的东西,其中每个像素的颜色代表其到相机的距离

图片

交互性:可以修改场景的光照、外观、几何形状

图片

还可以制作特效,使场景被动地动画化

图片

走进世界名画

世界生成可以让你以全新的方式体验标志性的艺术作品。比如 梵高(van Gogh)、霍珀(Hopper)、修拉(Seurat)和康定斯基(Kandinsky),可以wordlab网页体验

图片

可以去这里网页体验 https://www.worldlabs.ai/blog

与其他 AI 工具无缝衔接!

World Labs 的 3D 场景生成技术,可以和其他 AI 工具配合使用,让创作者们的工作流程更加高效!

例如,可以通过先使用文本生成图像模型生成一幅图像来从文本创建世界。不同的模型有各自的风格,worldlab技术可以继承这些风格

这里用四个流行的text2image模型 FLUX, Midjourney, Ideogram, DALL-E,采用相同的提示可以生成同一场景的四个变体

图片

图片这里体验:https://www.worldlabs.ai/blog

目前wordlab已经让一些创作者提前了解了这种技术,开始尝试 3D 原生生成 AI 工作流程带来的可能性

数字艺术家 @8bit_e 就用 World Labs 的技术,轻松地将角色放置在场景中,并进行精确的相机运动控制,弥补了他创作流程中的一个空白,极大地提升了创作效率!

未来展望

英伟达JIM FAN 评价:

生成式 AI 正在创造越来越高维度的人类体验快照

Stable Diffusion 是一个二维快照

OpenAI Sora 是一个二维加时间维度的快照

现在,World Labs 是一个三维、完全沉浸式的快照

图片

总体来看World Labs 的 3D 世界生成技术,绝对是 AI 领域的一项重大突破!它将为游戏、电影、艺术等领域带来无限可能!

李飞飞教授表示,这只是 3D 生成式 AI 的一个开始!他们正在努力将这项技术尽快送到用户手中!

相关资讯

不到60秒就能生成3D「手办」,Meta发力3D生成,ChatGPT时刻要来了吗?

3D 生成,一直在等待它的「ChatGPT时刻」。一直以来,创作 3D 内容是设计和开发视频游戏、增强现实、虚拟现实以及影视特效中最重要的部分。然而,3D 生成具有独特而艰巨的挑战,这是图像和视频等其他生成内容所不具备的。首先,3D 内容在艺术质量、生成速度、3D 网格结构和拓扑质量、UV 贴图结构以及纹理清晰度和分辨率方面具有严格的标准;其次,与其他研究相比,可用的数据量少。虽然该领域有数十亿张图像和视频可供学习,但可用于训练的 3D 内容数量要少三到四个数量级。因此,现阶段的3D 生成还必须从非 3D 的图像和

3D城市自动生成方案升级,腾讯GiiNEX游戏AI引擎正式亮相

3月20日,在2024全球游戏开发者大会(GDC)上,腾讯发布了自研游戏AI引擎——GiiNEX。基于生成式AI和决策AI技术,GiiNEX将为游戏全生命周期提供丰富的AI解决方案。借助大模型等生成式AI技术,GiiNEX面向AI NPC、场景制作、内容生成等场景,提供了包括2D图像、动画、3D城市、剧情、对话、关卡以及音乐等多样化的AIGC能力,帮助开发者提升高质量内容生成的效率。同时,GiiNEX也将决策AI技术用于游戏研发测试、模拟玩法等场景,加速游戏创新迭代,以快速适应玩家个性化需求和多变的市场趋势。在会上

全球首个AI圣彼得大教堂上线,40万照片毫米级3D还原文艺复兴巅峰!

不用排队、不用签证,现在只需打开屏幕,就能探索圣彼得大教堂的一切——从壮美的圆顶到鲜有人见的教皇墓地,全方位感受这座文艺复兴与巴洛克建筑巅峰之作的震撼。 梵蒂冈联手Iconem和微软,仅用不到一个月的时间,就打造了这座教堂的数字双胞胎,并推出沉浸式展览和互动网站——La Basilica di San Pietro(意大利语:圣彼得大教堂)。 探索地址:,圣彼得大教堂见证了米开朗基罗与贝尔尼尼的建筑天才。