近日，腾讯宣布推出一项名为 Paint3D 的技术，它能够根据文本或图象输出，为无纹理的 3D 模型生成高分辨率、无光照且多样化的纹理贴图，对任何 3D 物体进行纹理绘制。
效验演示视频
相关技术论文已经公开。
项目主页：https://paint3d.github.io/
论文地址：https://arxiv.org/abs/2312.13913
Code: https://github.com/OpenTexture/Paint3D
据论文介绍，这项技术主要解决的挑战是如何生成没有内嵌光照信息的高质量纹理，使得生成的纹理能够被重新照明或重新编辑，直接应用于现有的衬着管道。
Paint3D 通过引入预训练 2D 图象生成模型来获取文字和图象输出的带领能力，从不同的提示中概括出丰富且高质量的纹理。在此基础上，Paint3D 利用 3D 数据高质量的无照明纹理作为监督，在 UV 纹理空间上训练无光照集中模型，生成无光照纹理。这些纹理没有内嵌光照暗影效验，同时保持了语义一致性，大大提升了 3D 模型纹理生成方面的最优效验。
3D 生成领域学者 Yawar Siddiqui 评价道：「终于有一种无内嵌光照的纹理生成方法了，结果非常出色，是我所见过的最好的纹理生成方法！」
推特用户 COBALT 评价道：「这真是令人难以置信，对视频游戏开发的未来感到兴奋，这些强大的工具可以加速进程！」
方法概述
两阶段纹理生成框架
为了基于输出条件（如文字信息或图象）合成高质量且多样化的 3D 模型纹理贴图，Paint3D 的研讨人员设计了一个由粗到精细的框架，逐步生成和改进纹理贴图。
该框架主要分为粗拙纹理生成和纹理细化两个阶段：1）在粗拙阶段，从预训练的 2D 图象集中模型中采样多视角图象，然后将这些图象反投影到网格表面上，创建初始纹理贴图。2）在细化阶段，通过在 UV 空间中执行集中历程来增强粗拙纹理贴图，实现无光照、修复和高清功能，以确保最终纹理的高质量和完整性。
粗拙纹理生成阶段
在粗拙阶段，研讨团队基于预训练的视角深度感知的 2D 集中模型为 3D 模型生成粗拙的 UV 纹理贴图，从不同的相机视角衬着深度图，然后使用深度条件从图象集中模型中采样图象，最后将这些图象反投影到网格表面上。
为了提高每个视角中纹理网格的一致性，研讨团队交替执行衬着、采样和反投影的三个历程，首先，从第一个视角将 3D 网格衬着成深度图，然后根据输出纹理条件和深度图象，利用 2D 集中模型采样得到纹理图象：
接下来，将这个图象从第一个视角反投影到 3D 网格上，生成该视角的纹理贴图。在预先定义的 n 个相机视角上依次进行上述历程，融合后得到 3D 模型粗拙的纹理贴图。
纹理细化阶段
对于细化阶段而言，尽管第一阶段生成的粗拙纹理外观是连贯的，但仍存在一些问题，比如由 2D 图象集中模型引起的光照暗影，或者在衬着历程中由自遮挡引起的纹理空洞。为了缓解这些问题并在纹理细化历程中进一步增强纹理贴图的视觉美感，研讨团队在 UV 空间中训练集中模型，基于粗拙纹理贴图在 UV 空间中完成纹理细化历程。
为了在 UV 空间中训练集中模型，研讨人员引入了位置图来表示纹理片段的 3D 邻接信息。位置图中的每个非背景元素都是一个 3D 点坐标，可以通过将 3D 点坐标进行 UV 映射来获得。
研讨人员在预训练的图象集中模型中添加了一个独立的位置图编码器，用于在集中历程中融合 3D 邻接信息。这个编码器与图象集中模型中的编码器具有相同的架构，并通过零卷积层连接在一起。新的编码器利用 3D 数据高质量的无照明纹理作为监督，在 UV 空间上训练无光照集中模型：
通过纹理细化历程，研讨团队减轻了光照暗影和纹理空洞等问题，并进一步提升了纹理贴图的视觉美感。
实行结果
Paint3D 通过一系列的量化和定性实行，证明了其在生成多样化纹理贴图方面的显著能力。该评估随机选取了多个 3D 模型生成纹理贴图，覆盖了人物、汽车、飞机、桌椅等多种物体类别，通过评估 FID 得分及用户调研来定量评估其纹理生成的效验。
实行结果显示，Paint3D 有着更好的纹理生成质量，同时能生成更符合输出条件的纹理结果，实行结果对比如下：
研讨人员也在相同的 3D 模型上与当前最佳的纹理生成算法进行比较。结果显示，Paint3D 几乎在所有的样本上都达到了更好的效验，也是唯一一个能生成无内嵌光照纹理的算法。比较结果如下：
Paint3D 的实行中还展示了多种输出条件带领的纹理贴图生成，包括文字描述和示例图象带领下的纹理生成。
文字描述带领的纹理生成
示例图象带领的纹理生成
结论
综上所述，Paint3D 的出现标志着自动化纹理贴图生成领域的重大进展。它在生成高质量纹理贴图的同时，提供了包括文字描述和示例图象的纹理生成控制选项，通过精确控制纹理贴图中的内容和风格，Paint3D 可以生成高质量、多样化的纹理贴图，从而显著推进 3D 对象纹理化的最先进技术。
更为重要的是，Paint3D 生成的纹理贴图是没有内嵌光照暗影效验的，使得生成的纹理能够被重新照明或重新编辑，直接应用于现有的衬着管线，在艺术创作、数字媒体制作和游戏内容创作等领域发挥重要作用。