AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
3D生成是生成式人工智能和计算机图形学领域最引人注目的话题之一，符合影视、游戏标准的3D生成尤其受产业界关注。在生产过程中，一般品类的3D资产往往通过手工建模或者扫描的方式制作。但作为3D资产的一个重要类别，装束资产的往往来源于平面板片与物理模拟等过程，而不是直接在3D上建模。
上海科技大学、影眸科技与宾夕法尼亚大学联合提出DressCode，它是首个完全支持 CG 操作，可以兼容到工业过程的 3D 装束生成框架，并通过文本的引导，实现自动生成具有高质量衬着效果、可编写、可驱动、可仿真的 3D 装束。
Dresscode已经被计算机图形领域国际顶级期刊 Transactions on Graphics 接收，并将在国际计算机图形顶级会议 SIGGRAPH 2024 上展示。
项目链接：https://sites.google.com/view/projectpage-dresscode
论文链接：https://arxiv.org/abs/2401.16465
引言
装束在人类外观中扮演着重要角色，这突显了装束数字化对于数字人设立的重要性。近期在 3D 内容设立领域的巨大进展对于数字人的设立至关重要。
然而，对于装束生成的工作仍有空缺，由于通用生成方式生成的网格或神经场与本质数字装束生产过程不兼容，使这类方式直接应用于装束类别并未能达到很好的效果。
为了解决这些问题，来自影眸科技与上海科技大学的研发团队提出了一个文本驱动的 3D 装束生成框架——DressCode，旨在为初学者计划数字装束简单化，并在时尚计划、虚拟试穿和数字人设立提供巨大潜力。
该框架可以通过自然语言交互生成对 CG 过程友好的装束模型，并且还便于版片补全和纹理编写， 通过用户友好的交互简化了计划过程。本文将对 DressCode 的主要功能进行详细介绍，并探讨其在本质计划场景中的应用前景。
SewingGPT 框架概述
对于版片生成模块，该论文提出了 SewingGPT，这是一个鉴于 GPT 的自回归模型，用于通过文本提醒生缝纫版片。其首先将缝纫版片参数转换为一系列量化的token，训练了一个 Decoder-only Transformer。并通过在Transformer中融合使用文本提醒词的交叉关注力，来达到用文本来引导生成结果。
训练完成后，该模型可以根据用户条件自回归地生成token序列，并将生成的序列经过反向量化来得到生成的缝纫版片参数。
DressCode 框架概述
借助 SewingGPT，该框架可以直接从文本提醒中生成多样化的缝纫版片。由于材质贴图在 CG 过程中非常关键，该框架为这些版片生成相应的鉴于物理的纹理，更紧密地与装束计划工作过程相契合。
作者们提出的DressCode框架，通过哄骗 SewingGPT 和 PBR 纹理生成器来生成3D装束的几何部分与纹理部分，并且进一步哄骗大型语言模型通过自然语言交互为用户创建定制装束。
在实现通过文本提醒生成缝纫版片和纹理之后，为了在本质场景中使计划师可以使用自然语言与生成器交互，而不是依赖于数据集格式的提醒，作者们采用 GPT-4 进行内容学习，以解释用户的自然语言输入，生成几何提醒词和纹理提醒词。
这些提醒词输入到 SewingGPT 和 PBR 纹理生成器后，得到生成的缝纫版片与纹理，并经过仿真、衬着得到最终的结果。同时，生成的装束以及 PBR 纹理可以被无缝整合到工业软件中，可以与人体模型进行动画驱动，并在各种照明下进行衬着，确保生动、逼真的效果。
版片补全能力
得益于自回归模型，SewingGPT可以通过哄骗模型提供的概率预测，在接收到部分版片信息后补全整个缝纫版片。此外，输入一个文本提醒可以指导模型补全缝纫版片。如给定一个袖子后， 该模型可以根据不同的提醒补全完成各种缝纫版片。这使得用户可以手动计划部分版片，哄骗 SewingGPT 进行灵感激发并鉴于文本提醒来补全装束。
纹理编写能力
在近期大多 3D 生成任务中，无法产生结构化的 UV 映射是对本质应用场景一个重大障碍，尤其是在生成装束时，使其无法用于本质计划场景。本文提出的生成方式，哄骗缝纫版片表示，使得可以创建每个版片独特且结构化的 UV 映射。这也促使用户可以在特定位置便捷得编写纹理，支持对纹理贴图进行高效的后处理。
应用和展望
DressCode 框架在与其他方式比较中取得了优异的成绩，该框架作为第一个鉴于缝纫版片的装束生成工作，可以让初学者和专业计划师都能通过简单的文本提醒生成高质量的缝纫版片和 PBR 纹理，使装束计划过程大幅简单化。
DressCode 的易用性和创新方式有望推动数字装束的未来发展。这类以缝纫版片为基础的生成任务，将推动虚拟试穿、时尚计划和数字人设立的数字装束领域的发展，让我们共同期待。