胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

机器之能报道编辑:吴昕它会是3D AIGC领域的Midjourney 吗?游戏、电影和 XR 行业对 3D 模型的需求正在激增。尤其是当苹果 Vision Pro、Quest 3  等硬件出货量达到一定量级时,市场对 3D 实质需求可能会出现井喷。遗憾的是目前市场供应侧,专业创作者还困顿于漫长的创作时间,而摩拳擦掌的业余玩家依旧游离在复杂的创作东西之外。随着生成 AI 技术的兴起,如何打造一款全新的 3D 实质生成东西,加速建造流程,弥合市场供需之间的巨大落差,正成为一些技术大神们关注的方向。Meshy  就是这样

机器之能报道

编辑:吴昕

它会是3D AIGC领域的Midjourney 吗?

游戏、电影和 XR 行业对 3D 模型的需求正在激增。尤其是当苹果 Vision Pro、Quest 3  等硬件出货量达到一定量级时,市场对 3D 实质需求可能会出现井喷。

遗憾的是目前市场供应侧,专业创作者还困顿于漫长的创作时间,而摩拳擦掌的业余玩家依旧游离在复杂的创作东西之外。随着生成 AI 技术的兴起,如何打造一款全新的 3D 实质生成东西,加速建造流程,弥合市场供需之间的巨大落差,正成为一些技术大神们关注的方向。Meshy  就是这样一款在线生成 AI 东西—— 只需一分钟,即可利用 Al 生成 3D 实质(模型),你要做的只是一个简单提示。

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

Meshy官方供应的实质。纽约高级 UE 艺术家 RenderMan 利用Meshy文本转3D的模式创建了视频里所有资产实质。

这款 3D AIGC 东西来自一家创业公司 Meshy 。公司联合创始人兼 CEO 胡渊鸣是计算机图形学知名学者,毕业于清华大学姚班,MIT 博士,也是「太极」(TaiChi)编程语言作者(没错,就是 99 行代码打造冰雪奇缘的那位大神)。

Meshy 是胡渊鸣创立的独立新品牌。团队成员分布全球,来自 MIT、哈佛大学、英伟达、谷歌、 Meta 等知名机构。他们希望通过供应一种直观、轻松的实质创建方式,彻底改变当前 3D 实质建造生态系统。

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟公司联合创始人兼CEO胡渊鸣

目前,Meshy 供应三种很容易上手的利用方式,包括文本转 3D(输出文字——输出 3D 模型)、图象转 3D(供应图片——生成 3D 模型)以及从文本到纹理,透过简单文本描述就能为 3D 实质增添纹理。三种模式均可快速工作——在 60 秒内输出结果。我们先体验了文本转 3D。确定生成目标——生日蛋糕——后,我们输出了一些简单提示,比如「经典气势派头、高品质、宇宙色彩和图案,看起来诱人」。

很快,一块诱人的 3D 蛋糕出现了:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

当我们拖曳着蛋糕,360 度无死角欣赏时,不得不说,很满意:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

这种文本转 3D 性能非常适合在游戏中生成环境资产或「道具」。于是,我们试试 Meshy 设计宝藏古玩的成效。

输出「青铜制品,古玩,古代」,得到了一尊很漂亮的器皿:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

加入 Discord ,还可以体验到一些网页版尚未上架的新性能。比如,生成的物体品类更加丰富,避免了多张脸的问题,还可以生成角色和动物等。另外,生成的物体几何品质更高也更完整。

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

我们在Discord 环境系生成的中国古代随葬礼器青铜鼎

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

值得注意的是,除了 1K、2K,Meshy 现在还供应生成 4K 纹理的选择,将创作细节和清晰度提升到一个新水平。

X 平台 @Edgar_Martin 利用文本转 3D 性能生成了一张 4K 细节的古玩桌子:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

除了仅需一分钟左右的等待,Meshy 另一个特点是能与 Unity 、Blender 等流行创意东西无缝集成。

X 平台网友 @PurzBeats  利用文本转 3D 生成模型后,又把模型放到 Mixamo (一个为 3D 实质生成动画的平台)里增添了动画成效,然后又用 Blender (一款 3D 动画建造软件)进行照明/渲染,得到了这个既笨拙又可爱的萌物:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

Meshy 的下一个亮点是支持图片生成 3D 模型,包括 Midjourney 、Stable Diffusion 生成的图象。东京 CG 艺术家 Samuel 利用了图象转 3D 的性能生成实质后,接着用 Mixamo 为这些 3D 形象增添了动画成效:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

我们也随手找到一张 AI 生成的图片,利用 2D 转 3D 的性能得到一个 3D 猫神巴斯特的模型。

虽然不能称它为非常高品质的作品(可能是因为背景比较复杂,结果嘴部处理的很怪异),但在短短一分多钟内创建 3D 模型仍然令人印象深刻。

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

吸取教训,换了一个背景干净的图象,生成成效好了一些:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

Meshy 的第三个亮点是供应了专用的 AI 纹理性能,通过文本即可为 3D 模型生成高品质的纹理。这是 X 平台@GabRoXR 的漂亮展示:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

看看这个,输出「军用 MA-1 夹克」,立刻得到一件质感逼真的夹克:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

X平台 @fidefumi777作品

目前,WebApp 上还支持写实、2.5D卡通、日漫、卡通线稿、写实手绘、东方水墨等 7 种气势派头,而你要做的就是点击选定某种气势派头。对于像我这种不善于通过一长串 prompt 控制生成成效和气势派头的人来说,简直是福音。

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

最后欣赏一下 X 平台网友的纹理生成玩法:

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

X平台 @VoxelKei的作品

胡渊鸣全新创业项目Meshy曝光:一句话生成3D游戏资产,仅需一分钟

X平台网友 @Yokohara_h的作品

目前,3D 实质的生成方式主要有两种。正如 Meshy 在官方博客中介绍过的。一个是将 2D 实质提升为 3D,这类方法会利用大量 2D 数据建造出高品质 3D 模型,缺点是速度很慢,即使在 RTX 3080 等快速 GPU 上也可能需要几个小时。另一个办法就是「原生 3D 」——直接在 ShapeNet 等 3D 数据集上训练,这种办法可以将每个模型的生成时间显著缩短至不到 1 分钟。不过,由于可用的 3D 训练数据不多,这一类方法比较难实现数据多样性,特别是需要生成具有想象力模型的时候,模型品质通常较差。两种主要手段要么太慢,用户等待时间长,服务器成本也高;要么生成的模型品质不高。Meshy 希望在品质和速度之间取得一个比较好的平衡。

目前,东西还处在 Mesh-1 阶段,新的性能也在开发中。如果你对 3D 实质设计有兴趣,绝对应该尝试一下,看看它如何满足你的需求。现在加入 Discord,将享受无限的免费生成机会。注册 WebApp,每天会有 20 个免费生成机会。

传送门:https://www.meshy.ai/

给TA打赏
共{{data.count}}人
人已打赏
应用

佳期投资2024全球招聘正式开启!

2023-11-28 10:55:00

应用

2023“欧贝杯”工业品供应链数据智能立异大赛正式开启!

2023-11-28 15:23:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索