胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

机器之能报道编辑:吴昕它会是3D AIGC领域的Midjourney 吗?游戏、电影和 XR 行业对 3D 模型的需求正在激增。尤其是当苹果 Vision Pro、Quest 3  等硬件出货量达到一定量级时,市场对 3D 内容需求可能会出现井喷。遗憾的是目前市场供应侧,专业创作者还困顿于漫长的创作时间,而摩拳擦掌的业余玩家依旧游离在复杂的创作工具之外。随着生成 AI 技术的兴起,如何打造一款全新的 3D 内容生成工具,加速制作流程,弥合市场供需之间的巨大落差,正成为一些技术大神们关注的方向。Meshy  就是这样

机器之能报道

编辑:吴昕

它会是3D AIGC领域的Midjourney 吗?

游戏、电影和 XR 行业对 3D 模型的需求正在激增。尤其是当苹果 Vision Pro、Quest 3  等硬件出货量达到一定量级时,市场对 3D 内容需求可能会出现井喷。

遗憾的是目前市场供应侧,专业创作者还困顿于漫长的创作时间,而摩拳擦掌的业余玩家依旧游离在复杂的创作工具之外。随着生成 AI 技术的兴起,如何打造一款全新的 3D 内容生成工具,加速制作流程,弥合市场供需之间的巨大落差,正成为一些技术大神们关注的方向。Meshy  就是这样一款在线生成 AI 工具—— 只需一分钟,即可使用 Al 生成 3D 内容(模型),你要做的只是一个简单提示。

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

Meshy官方提供的内容。纽约高级 UE 艺术家 RenderMan 使用Meshy文本转3D的模式创建了视频里所有资产内容。

这款 3D AIGC 工具来自一家创业公司 Meshy 。公司联合创始人兼 CEO 胡渊鸣是计算机图形学知名学者,毕业于清华大学姚班,MIT 博士,也是「太极」(TaiChi)编程语言作者(没错,就是 99 行代码打造冰雪奇缘的那位大神)。

Meshy 是胡渊鸣创立的独立新品牌。团队成员分布全球,来自 MIT、哈佛大学、英伟达、谷歌、 Meta 等知名机构。他们希望通过提供一种直观、轻松的内容创建方式,彻底改变当前 3D 内容制作生态系统。

图片公司联合创始人兼CEO胡渊鸣

目前,Meshy 提供三种很容易上手的使用方式,包括文本转 3D(输入文字——输出 3D 模型)、图像转 3D(提供图片——生成 3D 模型)以及从文本到纹理,透过简单文本描述就能为 3D 内容添加纹理。三种模式均可快速工作——在 60 秒内输出结果。我们先体验了文本转 3D。确定生成目标——生日蛋糕——后,我们输入了一些简单提示,比如「经典风格、高质量、宇宙色彩和图案,看起来诱人」。

很快,一块诱人的 3D 蛋糕出现了:

图片

当我们拖曳着蛋糕,360 度无死角欣赏时,不得不说,很满意:

图片

这种文本转 3D 功能非常适合在游戏中生成环境资产或「道具」。于是,我们试试 Meshy 设计宝藏古董的效果。

输入「青铜制品,古董,古代」,得到了一尊很漂亮的器皿:

图片

加入 Discord ,还可以体验到一些网页版尚未上架的新功能。比如,生成的物体品类更加丰富,避免了多张脸的问题,还可以生成角色和动物等。另外,生成的物体几何质量更高也更完整。

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

我们在Discord 环境系生成的中国古代随葬礼器青铜鼎

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

值得注意的是,除了 1K、2K,Meshy 现在还提供生成 4K 纹理的选择,将创作细节和清晰度提升到一个新水平。

X 平台 @Edgar_Martin 使用文本转 3D 功能生成了一张 4K 细节的古董桌子:

图片

除了仅需一分钟左右的等待,Meshy 另一个特点是能与 Unity 、Blender 等流行创意工具无缝集成。

X 平台网友 @PurzBeats  使用文本转 3D 生成模型后,又把模型放到 Mixamo (一个为 3D 内容生成动画的平台)里添加了动画效果,然后又用 Blender (一款 3D 动画制作软件)进行照明/渲染,得到了这个既笨拙又可爱的萌物:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

Meshy 的下一个亮点是支持图片生成 3D 模型,包括 Midjourney 、Stable Diffusion 生成的图像。东京 CG 艺术家 Samuel 使用了图像转 3D 的功能生成内容后,接着用 Mixamo 为这些 3D 形象添加了动画效果:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

我们也随手找到一张 AI 生成的图片,利用 2D 转 3D 的功能得到一个 3D 猫神巴斯特的模型。

虽然不能称它为非常高质量的作品(可能是因为背景比较复杂,结果嘴部处理的很怪异),但在短短一分多钟内创建 3D 模型仍然令人印象深刻。

图片

吸取教训,换了一个背景干净的图像,生成效果好了一些:

图片

Meshy 的第三个亮点是提供了专用的 AI 纹理功能,通过文本即可为 3D 模型生成高质量的纹理。这是 X 平台@GabRoXR 的漂亮展示:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

看看这个,输入「军用 MA-1 夹克」,立刻得到一件质感逼真的夹克:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

X平台 @fidefumi777作品

目前,WebApp 上还支持写实、2.5D卡通、日漫、卡通线稿、写实手绘、东方水墨等 7 种风格,而你要做的就是点击选定某种风格。对于像我这种不善于通过一长串 prompt 控制生成效果和风格的人来说,简直是福音。

图片

最后欣赏一下 X 平台网友的纹理生成玩法:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

X平台 @VoxelKei的作品

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

X平台网友 @Yokohara_h的作品

目前,3D 内容的生成方式主要有两种。正如 Meshy 在官方博客中介绍过的。一个是将 2D 内容提升为 3D,这类方法会使用大量 2D 数据制作出高质量 3D 模型,缺点是速度很慢,即使在 RTX 3080 等快速 GPU 上也可能需要几个小时。另一个办法就是「原生 3D 」——直接在 ShapeNet 等 3D 数据集上训练,这种办法可以将每个模型的生成时间显著缩短至不到 1 分钟。不过,由于可用的 3D 训练数据不多,这一类方法比较难实现数据多样性,特别是需要生成具有想象力模型的时候,模型质量通常较差。两种主要手段要么太慢,用户等待时间长,服务器成本也高;要么生成的模型质量不高。Meshy 希望在质量和速度之间取得一个比较好的平衡。

目前,工具还处在 Mesh-1 阶段,新的功能也在开发中。如果你对 3D 内容设计有兴趣,绝对应该尝试一下,看看它如何满足你的需求。现在加入 Discord,将享受无限的免费生成机会。注册 WebApp,每天会有 20 个免费生成机会。

传送门:https://www.meshy.ai/

相关资讯

不到60秒就能生成3D「手办」,Meta发力3D生成,ChatGPT时刻要来了吗?

3D 生成,一直在等待它的「ChatGPT时刻」。一直以来,创作 3D 内容是设计和开发视频游戏、增强现实、虚拟现实以及影视特效中最重要的部分。然而,3D 生成具有独特而艰巨的挑战,这是图像和视频等其他生成内容所不具备的。首先,3D 内容在艺术质量、生成速度、3D 网格结构和拓扑质量、UV 贴图结构以及纹理清晰度和分辨率方面具有严格的标准;其次,与其他研究相比,可用的数据量少。虽然该领域有数十亿张图像和视频可供学习,但可用于训练的 3D 内容数量要少三到四个数量级。因此,现阶段的3D 生成还必须从非 3D 的图像和

大型多视角高斯模型LGM:5秒产出高质量3D物体,可试玩

为满足元宇宙中对 3D 创意工具不断增长的需求,三维内容生成(3D AIGC)最近受到相当多的关注。并且,3D 内容创作在质量和速度方面都取得了显著进展。尽管当前的前馈式生成模型可以在几秒钟内生成 3D 对象,但它们的分辨率受到训练期间所需密集计算的限制,进而导致生成低质量的内容。这就产生了一个问题,能否只用 5 秒钟来生成高分辨率高质量的 3D 物体?本文中,来自北京大学、南洋理工大学 S-Lab 和上海人工智能实验室的研究者提出了一个新的框架 LGM,即 Large Gaussian Model,实现了从单视角

神笔马良画出三维世界,基于线稿的3D生成编辑方法SketchDream来了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected][email protected]本论文作者是中国科学院计算技术研究所高林老师及其博士生刘锋林,香港城市大学傅红波老师,卡迪夫大学来煜坤老师。该项研究工作受到国家自然科学基金委、北京市自然科学基金委、北京市科学技术委员会的