本文经AIGC Studio公众号授权转载，转载请联系出处。
3D服装生成新工作！谷歌和CMU提出FabricDiffusion：一种将织物纹理从单个服装图像迁移到任意形状的 3D 服装的方法。FabricDiffusion性能表现SOTA！同时可以泛化到unseen的纹理和服装形状！收录顶会SIGGRAPH Asia 2024！
给定一个现实世界的 2D 服装图像和一个原始的 3D 服装网格，我们提出使用 FabricDiffusion 自动从参考图像中提取高质量的纹理贴图和打印件，并将其转移到目标 3D 服装表面。我们的方法可以处理不同类型的纹理、图案和材料。此外，FabricDiffusion 不仅能够生成漫反射反照率，还能生成粗糙度、法线和金属纹理贴图，从而能够在各种照明条件下对制作的 3D 服装进行精确的重新照明和渲染。
论文阅读
摘要
我们引入了 FabricDiffusion，这是一种将织物纹理从单个服装图像转移到任意形状的 3D 服装的方法。现有方法通常通过 2D 到 3D 纹理映射或通过生成模型进行深度感知修复来合成服装表面的纹理。不幸的是，这些方法通常难以捕捉和保留纹理，这表明我们的模型在合成数据和现实世界中的服装图像上的表现明显优于最先进的方法，同时可以推广到看不见的纹理和服装形状。
方法
FabricDiffusion 概述。 给定一张真实的服装图像及其面料材料和印花的区域捕获，(a) 我们的模型提取归一化的纹理和印花，(b) 然后生成高质量的基于物理的渲染 (PBR) 材料和透明印花。(c) 这些材料和印花可以应用于任意形状的目标 3D 服装网格 (d) 以实现逼真的重新照明。我们的模型纯粹使用合成数据进行训练，并实现了对真实世界图像的零样本泛化。
配对训练数据构建管道。给定 PBR 材质的纹理，我们将其应用于目标原始 3D 服装网格和普通网格。3D 服装使用环境贴图渲染，而普通网格使用来自上方的点光源照亮。两个网格生成的渲染图像 (𝑥, 𝑥0 ) 作为训练纹理生成模型的配对训练示例。
实验
真实世界服装图像上的纹理转移结果。我们的方法可以处理真实世界的服装图像以生成规范化的纹理贴图，以及相应的 PBR 材料。PBR 贴图可以应用于 3D 服装，以实现逼真的重新照明和渲染。
印花和徽标上的结果可转移到真实世界的图像上。给定一张带有印花和/或徽标的真实服装图像，以及印花所在区域的裁剪补丁。我们的方法会生成无失真且透明的印花元素，可将其应用于目标 3D 服装以实现逼真的渲染。请注意，背景纹理也是使用我们的方法进行传输的。
图像到服装纹理转移的比较。FabricDiffusion忠实地捕捉并保留输入服装的纹理图案。
PBR 材料提取的定性比较。材料调色板几乎无法捕捉织物材料，而我们的 FabricDiffusion 模型能够恢复织物纹理的物理特性，尤其是在粗糙度和漫反射图上。
结论
本文介绍了FabricDiffusion，这是一种将织物纹理和印花从单个现实世界服装图像转移到具有任意形状的 3D 服装上的新方法。该方法完全使用合成渲染图像进行训练，能够从野外服装图像中生成未失真的纹理和印花。虽然该方法在真实照片和多样化纹理图案方面表现出强大的泛化能力，但它在某些输入方面面临挑战。
具体来说，FabricDiffusion 在重建非重复图案时可能会产生错误，并且难以准确捕捉复杂印花或徽标中的精细细节，特别是因为我们的重点是具有均匀背景、中等复杂度和中等失真的印花。
