Stability AI 推出 TripoSR!一秒生成高质量 3D 模型,免费应用

大伙儿好,这里是和你们一起探索 AI 的花生~ 之前为大伙儿系统引荐了 5 款 3D 模型生成神器,以及 Stability AI 推出的 3D 模型 Stable Zero123,他们都可以根据文本或图象生成较完整的 3D 模型。最近 Stability AI 又推出了一款新的开源 3D 生成模型 TripoSR,它不仅在生成速率上远超之前引荐的模型,而且质量上也有了极大的提升,今天为大伙儿介绍一下它的用法。 相关引荐:一、TripoSR 简介 Github 项目主页: TripoSR 试用 Demo: Tripo

Stability AI 推出 TripoSR!一秒生成高质量 3D 模型,免费应用

大伙儿好,这里是和你们一起探索 AI 的花生~

之前为大伙儿系统引荐了 5 款 3D 模型生成神器,以及 Stability AI 推出的 3D 模型 Stable Zero123,他们都可以根据文本或图象生成较完整的 3D 模型。最近 Stability AI 又推出了一款新的开源 3D 生成模型 TripoSR,它不仅在生成速率上远超之前引荐的模型,而且质量上也有了极大的提升,今天为大伙儿介绍一下它的用法。

相关引荐:

一、TripoSR 简介

Github 项目主页: https://github.com/VAST-AI-Research/TripoSR

TripoSR 试用 Demo: https://huggingface.co/spaces/stabilityai/TripoSR

TripoSR 由 Stability AI 和 Tripo AI 合作开发,可在 1 秒钟内根据单张图象生成高质量的 3D 模型,并且对算力的需求很低,甚至不需要 GPU 就能生成,因此普通用户也可以轻松在本地设备上应用它 。目前模型已开源,允许商业化应用。

TripoSR 目前已经有线上试用 Demo 了,大伙儿可以上传自己的图象体验一下它的生成速率,真的是 1 秒完成,而在此之前 3D 模型生成一般都要 5-10 分钟,相比之下 TripoSR 的提升无疑是巨大的。除了速率,TripoSR 生成的质量也比之前的模型好很多,即使是人物或者建筑这样复杂的对象也可以准确生成其完整的背面内容。模型生成后支持导出为 .obj 和 .glb 文件,然后在 C4D/Blender 等软件中进一步编辑,这可以有效提升的 3D 内容创作效率。

Stability AI 推出 TripoSR!一秒生成高质量 3D 模型,免费应用

二、在 Comfyui 中应用 TripoSR

TripoSR 模型开源后,ComfyUI 生态就很就对其进行了支持,我们可以装置 ComfyUI-Flowty-TripoSR 插件实现本地运行,另外还可以加入其他 AI 技术,实现通过文本快速生成 3D 模型。

① 装置插件

Github 主页: https://github.com/flowtyone/ComfyUI-Flowty-TripoSR.git

将 ComfyUI 更新到最新版本,然后装置 ComfyUI-Flowty-TripoSR 插件。可以用过 manager 装置,也可以进入根目录的 custom_nodes 文件夹中,通过 git clone 号令装置;装置成功后,进入 ComfyUI-layerdiffuse 根目录,打开终端号令,运行 pip install -r requirements.txt 号令,装置 python 依赖项。

Stability AI 推出 TripoSR!一秒生成高质量 3D 模型,免费应用

② 装置模型

TripoSR 模型地址: https://huggingface.co/stabilityai/TripoSR/blob/main/model.ckpt (文末有资源包)

下载 model.ckpt,装置到根目录的 ComfyUI/models/checkpoints 文件夹中,如果是和 SD WebUI 共用的资源则放到 WebUI 的根目录中,然后刷新或者重启 ComfyUI(模型下载后可以修改名称为 TripoSR,方便后期识别 )。

Stability AI 推出 TripoSR!一秒生成高质量 3D 模型,免费应用

③ 导入基础任务流

进入 ComfyUI 界面后,可以从 ComfyUI-Flowty-TripoSR 根目录中导入插件作者提供的 json 任务流文件,引荐应用带背景去除的 workflow_rembg,它的生成效果会更好。

Stability AI 推出 TripoSR!一秒生成高质量 3D 模型,免费应用

基础任务流的应用非常简单,只要先选好 TripoSR.ckpt 大模型, 然后上传本地图象(注意:图象中主体不要占得太满,最好与四周保留一定的距离,否则会影响出图效果),再点击生成,几秒钟就能得到一个完整的模型了。

相关引荐:

三、与 Lightning 和 LayerDiffusion 合用

最近 AI 绘画领域出现了不少新的技术,比如可以在 1-8 步内完成图象推理的 SDXL Lightning 模型,以及可以通过文本生成透明底图象的 LayerDiffusion 插件,我尝试将他们与 TripoSR 结合,最终实现了直接通过文本生成 3D 模型的效果,下面是具体任务流(文末有资源包):

Stability AI 推出 TripoSR!一秒生成高质量 3D 模型,免费应用

应用时任务流需要注意的方面有:

因为应用了 SDXL Lightning 4-step Lora,所以大模型也需要是对应的 XL 大模型,Ksamper 参数设置也会不同:生成步数为 4;CFG 参数为 1,scheduler 为 sgm_uniform。有了它 4 步就得到一张高质量的图象,速率比直接应用 XL 大模型快 8-10 倍。
接入了 LayerDiffusion 节点,可以直接通过文本生成透明底图象,选择不同的 XL 大模型就可以生成不同风格的图象,这样就无需自己上传了,整体更方便。
目前 ComfyUI-Flowty-TripoSR 插件还没有导出 3D 文件的功能,不过后续应该会加上。如果你想现在就将 ComfyUI 中生成的 3D 模型导出,可以应用 @Zho 大神的分支 ComfyUI-Flowty-TripoSR-Zho,应用方法依旧是先通过 git clone 装置插件,然后运行 pip install -r requirements.txt 号令。

目前已经在网上看到一些将 TripoSR 应用到实际项目中的做法,效果都非常不错,网友 @Doron Adler 则展示了一个非常生动的例子。他先用 Midjourney 生成了一个人物,然后用 TripoSR 进行 3D 化,再导入 MeshLab 编辑并用 Mixamo 创建动画,最后应用 Reality Converter 将 3D 人物投射到了现实中。整个过程看起来好像很复杂,但从想法到现实其实只用了几分钟,因为 AI 完成了大部分的任务。这样的实现速率是传统设计软件很难达到的,未来 AI 技术对 AR 和 VR 的影响肯定会更令人期待。

好啦以上就是本期为大伙儿引荐的 AI 3D 模型生成神器 TripoSR 的相关内容,喜欢的话记得点赞收藏支持一波,之后会继续为大伙儿带来更多实用的 AI 干货知识。想了解更多 AI 内容的话,欢迎关注 优设 AI 自学网;另外也可以关注「优设 AIGC」的 微信 视频号,小瓜老师每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握最新的 AI 发展动态 ~

给TA打赏
共{{data.count}}人
人已打赏
应用

求职新方向?为什么AI期间离不开「设想零碎架构师」?

2024-3-12 2:36:35

应用

350亿参数、开放权重,Transformer作者创业后推出新大模型

2024-3-12 14:25:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索