机器之能报道
编辑:吴昕
它会是3D AIGC领域的Midjourney 吗?
游戏、电影和 XR 行业对 3D 模型的需求正在激增。尤其是当苹果 Vision Pro、Quest 3 等硬件出货量达到一定量级时,市场对 3D 实质需求可能会出现井喷。
遗憾的是目前市场供应侧,专业创作者还困顿于漫长的创作时间,而摩拳擦掌的业余玩家依旧游离在复杂的创作东西之外。随着生成 AI 技术的兴起,如何打造一款全新的 3D 实质生成东西,加速建造流程,弥合市场供需之间的巨大落差,正成为一些技术大神们关注的方向。Meshy 就是这样一款在线生成 AI 东西—— 只需一分钟,即可利用 Al 生成 3D 实质(模型),你要做的只是一个简单提示。
Meshy官方供应的实质。纽约高级 UE 艺术家 RenderMan 利用Meshy文本转3D的模式创建了视频里所有资产实质。
这款 3D AIGC 东西来自一家创业公司 Meshy 。公司联合创始人兼 CEO 胡渊鸣是计算机图形学知名学者,毕业于清华大学姚班,MIT 博士,也是「太极」(TaiChi)编程语言作者(没错,就是 99 行代码打造冰雪奇缘的那位大神)。
Meshy 是胡渊鸣创立的独立新品牌。团队成员分布全球,来自 MIT、哈佛大学、英伟达、谷歌、 Meta 等知名机构。他们希望通过供应一种直观、轻松的实质创建方式,彻底改变当前 3D 实质建造生态系统。
公司联合创始人兼CEO胡渊鸣
目前,Meshy 供应三种很容易上手的利用方式,包括文本转 3D(输出文字——输出 3D 模型)、图象转 3D(供应图片——生成 3D 模型)以及从文本到纹理,透过简单文本描述就能为 3D 实质增添纹理。三种模式均可快速工作——在 60 秒内输出结果。我们先体验了文本转 3D。确定生成目标——生日蛋糕——后,我们输出了一些简单提示,比如「经典气势派头、高品质、宇宙色彩和图案,看起来诱人」。
很快,一块诱人的 3D 蛋糕出现了:
当我们拖曳着蛋糕,360 度无死角欣赏时,不得不说,很满意:
这种文本转 3D 性能非常适合在游戏中生成环境资产或「道具」。于是,我们试试 Meshy 设计宝藏古玩的成效。
输出「青铜制品,古玩,古代」,得到了一尊很漂亮的器皿:
加入 Discord ,还可以体验到一些网页版尚未上架的新性能。比如,生成的物体品类更加丰富,避免了多张脸的问题,还可以生成角色和动物等。另外,生成的物体几何品质更高也更完整。
我们在Discord 环境系生成的中国古代随葬礼器青铜鼎
值得注意的是,除了 1K、2K,Meshy 现在还供应生成 4K 纹理的选择,将创作细节和清晰度提升到一个新水平。
X 平台 @Edgar_Martin 利用文本转 3D 性能生成了一张 4K 细节的古玩桌子:
除了仅需一分钟左右的等待,Meshy 另一个特点是能与 Unity 、Blender 等流行创意东西无缝集成。
X 平台网友 @PurzBeats 利用文本转 3D 生成模型后,又把模型放到 Mixamo (一个为 3D 实质生成动画的平台)里增添了动画成效,然后又用 Blender (一款 3D 动画建造软件)进行照明/渲染,得到了这个既笨拙又可爱的萌物:
Meshy 的下一个亮点是支持图片生成 3D 模型,包括 Midjourney 、Stable Diffusion 生成的图象。东京 CG 艺术家 Samuel 利用了图象转 3D 的性能生成实质后,接着用 Mixamo 为这些 3D 形象增添了动画成效:
我们也随手找到一张 AI 生成的图片,利用 2D 转 3D 的性能得到一个 3D 猫神巴斯特的模型。
虽然不能称它为非常高品质的作品(可能是因为背景比较复杂,结果嘴部处理的很怪异),但在短短一分多钟内创建 3D 模型仍然令人印象深刻。
吸取教训,换了一个背景干净的图象,生成成效好了一些:
Meshy 的第三个亮点是供应了专用的 AI 纹理性能,通过文本即可为 3D 模型生成高品质的纹理。这是 X 平台@GabRoXR 的漂亮展示:
看看这个,输出「军用 MA-1 夹克」,立刻得到一件质感逼真的夹克:
X平台 @fidefumi777作品
目前,WebApp 上还支持写实、2.5D卡通、日漫、卡通线稿、写实手绘、东方水墨等 7 种气势派头,而你要做的就是点击选定某种气势派头。对于像我这种不善于通过一长串 prompt 控制生成成效和气势派头的人来说,简直是福音。
最后欣赏一下 X 平台网友的纹理生成玩法:
X平台 @VoxelKei的作品
X平台网友 @Yokohara_h的作品
目前,3D 实质的生成方式主要有两种。正如 Meshy 在官方博客中介绍过的。一个是将 2D 实质提升为 3D,这类方法会利用大量 2D 数据建造出高品质 3D 模型,缺点是速度很慢,即使在 RTX 3080 等快速 GPU 上也可能需要几个小时。另一个办法就是「原生 3D 」——直接在 ShapeNet 等 3D 数据集上训练,这种办法可以将每个模型的生成时间显著缩短至不到 1 分钟。不过,由于可用的 3D 训练数据不多,这一类方法比较难实现数据多样性,特别是需要生成具有想象力模型的时候,模型品质通常较差。两种主要手段要么太慢,用户等待时间长,服务器成本也高;要么生成的模型品质不高。Meshy 希望在品质和速度之间取得一个比较好的平衡。
目前,东西还处在 Mesh-1 阶段,新的性能也在开发中。如果你对 3D 实质设计有兴趣,绝对应该尝试一下,看看它如何满足你的需求。现在加入 Discord,将享受无限的免费生成机会。注册 WebApp,每天会有 20 个免费生成机会。
传送门:https://www.meshy.ai/