Meta 公司昨日(7 月 2 日)发布研究论文,介绍了名为 Meta 3D Gen(3DGen)的全新 AI 模型,可以在 1 分钟内鉴于用户输入的提醒词,生成高质量的 3D 实质。
Meta 公司表示 Meta 3D Gen(3DGen)所生成的 3D 实质具备高分辨率纹理和材质贴图,还支持鉴于物理的渲染(PBR),并能对此前生成的 3D 实质重新再生成新纹理。
IT之家援引论文主要实质,Meta 3D Gen 包含 text-to-3D 生成和 text-to-texture 生成两个主要组件,其工作原理如下:
第一阶段
根据用户提供的文本提醒,第一阶段使用 Meta 的三维财产生成模型(AssetGen)创造初始 3D 财产。该步骤生成一个带有纹理和 PBR 材质贴图的 3D mesh。推理光阴约为 30 秒。
第二阶段
案例 1:生成更细化的 3D 纹理
根据阶段 1 生成的三维财产和初始文本提醒,阶段 2 将为该财产生成更高质量的纹理和 PBR 贴图。它使用 Meta 的文本到纹理生成器 Meta 3D TextureGen。推理光阴约为 20 秒。
案例 2:再生成 3D 纹理
给定一个未纹理化的 3D mesh 和一个描述其所需外观的提醒。阶段 2 还可以从头开始为该三维财产生成纹理(mesh 可以是以前生成的,也可以是艺术家创造的)。推理光阴约为 20 秒。
IT之家附上完整报告链接,感兴趣的用户可以深入阅读。