AIxiv专栏是机器之心发布学术、手艺内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
项目主页：https://tau-yihouxiang.github.io/projects/X-Ray/X-Ray.html
论文地址：https://arxiv.org/abs/2404.14329
代码地址：https://github.com/tau-yihouxiang/X-Ray
数据集：https://huggingface.co/datasets/yihouxiang/X-Ray
如今的生成式AI在人工智能领域迅猛发展，在计算机视觉中，图象和视频生成手艺已日渐成熟，如Midjourney、Stable Video Diffusion [1]等模型广泛应用。然而，三维视觉领域的生成模型仍面临挑战。
目前的3D模型生成手艺通常鉴于多角度视频生成和重建，如SV3D模型[2]，通过生成多角度视频并结合神经辐射场(NeRF)或者3D高斯渲染模型（3D Gaussian Splatting）手艺逐步构建3D物体。这种法子主要限制在只能生成简单的、无自遮挡的三维物体，且无法呈现物体内部结构，使得整个生成历程复杂而且不完美，显示出该手艺的复杂性和局限性。
究其原因，在于目前缺乏灵活高效且容易泛化的3D Representation (3D表现)。
图1. X-Ray序列化3D表现
X射线能够穿透并记录关键物体内外轮廓信息，受到这个启发，新加坡国立大学(NUS)胡涛博士带领研究团队发布了一种全新的3D表现—X-Ray，它能够序列化地表现从相机摄像角度看过去的物体的逐层次的物体轮廓形状和纹理，可以充分利用视频生成模型的优势来生成3D物体，可以同时生成物体的内外3D结构。
本文将详细展示X-Ray手艺的原理、优势及其广泛的应用前景。
图2. 与鉴于渲染的3D模型生成法子比较。
手艺革新：物体内外轮廓的3D表现法子
X-Ray表现：从相机中心开始朝向物体方向的H×W个矩阵点发射射线。在每条射线方向上，逐个记录与物体的轮廓相交点的L个包含深度、法向量和色彩等的三维属性数据，然后将这些数据组织成L×H×W的形式，实现任意3D模型的张量表现，这就是该团队提出的X-Ray表现法子。
值得注意的是，该表现形式与视频格式一样，因此可以用视频生成模型做3D生成模型。具体历程如下。
图3. 不同层数的X-Ray示例样本。
1.编码历程: 3D模型转X-Ray
给定一个3D模型，通常是三维网格，首先设置一个相机观测该模型，然后通过光线投影算法(Ray Casting Algorithm)来记录每个相机射线与物体相交的所有轮廓的属性
，包括该轮廓的深度
，法向量
，色彩
等，为了指示方便，用
表现该位置是否存在轮廓。
然后，获取所有相机射线等相交轮廓点，即可得到一个完整的X-Ray 3D表达，如下表达式和图3所示。
通过编码历程，将一个任意的3D模型转变为X-Ray，它和视频格式是一样的，并且具有不同的帧数，通常情况下，帧数L=8 足够表现一个3D物体。
2.解码历程：X-Ray转3D模型
给定一个X-Ray，也可以通过解码历程转变回3D模型，这样只需要通过生成X-Ray即可生成3D模型。具体历程包括点云生成历程和点云重建轮廓两个历程。
X-Ray到点云：X-Ray很容易转变为点云，该点云中的每个点除了有3D点的位置坐标，还具有色彩和法向量信息。
其中r_0,r_d分别是相机射线的起点和归一化方向，通过对每个相机射线的处理，就可以获得一个完整的点云。
点云到三维网格：接下来就是将点云转变为三维网格的历程，这是一个被研究了很多年的手艺，因为这些点云具有法向量，所以采用Screened Poisson 算法直接将点云转变为三维网格模型，即最终的3D模型。
鉴于X-Ray表现的3D模型生成
为了生成高分辨率的多样3D X-Ray模型，该团队利用了与视频格式相似的视频散布模型架构。这个架构可以处理连续的3D信息，并通过上采样模块来提高X-Ray的质量，生成高精度的3D输出。散布模型负责从噪声数据逐步生成细节丰富的3D图象，上采样模块则增强图象分辨率和细节，以达到高质量标准。结构具体如图4所示。
X-Ray 散布生成模型
散布模型在X-Ray生成中利用潜在空间，通常需要自定义开发向量量化-变分自编码器（VQ-VAE）[3] 进行数据压缩，这一缺少现成模型的历程增加了训练负担。
为有效训练高分辨率生成器，该团队采用了级联合成策略，通过手艺如Imagen和Stable Cascaded，从低到高分辨率逐步训练，以适应有限的计算资源并提高X-Ray图象质量。
具体而言，利用Stable Video Diffusion中的3D U-Net架构作为散布模型，生成低分辨率X-Ray，并通过时空注意机制从2D帧和1D时间序列中提取特征，增强处理和解释X-Ray能力，这对高质量结果至关重要。
X-Ray 上采样模型
前一阶段的散布模型仅能从文本或其他图象生成低分辨率的X-Ray图象。在随后的阶段，着重提升这些低分辨率X-Ray至更高分辨率。
该团队探索了两种主要法子：点云上采样和视频上采样。
由于已经获得了形状和外观的粗糙表现，将这些数据编码成带有色彩和法线的点云是一个很直接的历程。
然而，点云表现结构过于松散，不适合进行密集预测，传统的点云上采样手艺通常只是简单增加点的数量，这对于提升诸如纹理和色彩等属性可能不够有效。为了简化流程并确保整个管道的一致性，选择利用视频上采样模型。
这个模型改编自Stable Video Diffusion（SVD）的时空VAE解码器，专门从头开始训练，以4倍的因子上采样合成的X-Ray帧，同时保持原始的层数。解码器能够在帧级和层级上独立进行注意力操作。这种双层注意力机制不仅提高了分辨率，还显著改善了图象的整体质量。这些功能使得视频上采样模型成为在高分辨率X-Ray生成中更加协调和有效的解决方案。
图4：鉴于X-Ray表现的3D模型生成框架，包括X-Ray散布模型与X-Ray上采样模型。
实验
1. 数据集：
实验利用了Objaverse数据集的一个筛选子集，从中移除了缺少纹理和不充分提示的条目。
这个子集包含超过60,000个3D对象。对于每个对象，随机选择4个摄像机视角，覆盖从-180到180度的方位角和从-45到45度的仰角，摄像机到对象中心的距离固定为1.5。
然后利用Blender软件进行渲染，并通过trimesh库提供的光线投射算法生成相应的X-Ray。通过这些历程，可以创建超过240,000对图象和X-Ray数据集来训练生成模型。
2. 实现细节：
X-Ray散布模型鉴于Stable Video Diffusion (SVD) 中利用的时空UNet架构，进行了轻微调整：模型配置为合成8个通道：1个命中通道，1个深度通道和6个法线通道，与原始网络的4个通道相比。
鉴于X-Ray成像与传统视频之间的显著差异，从头开始训练模型，以弥补X-Ray与视频领域之间的大差距。训练在8个NVIDIA A100 GPU服务器上进行了一周。在此期间，学习率保持在0.0001，利用AdamW优化器。
由于不同的X-Ray具有不同数量的层，将它们填充或裁剪到相同的8层，以便更好地批处理和训练，每层的帧尺寸为64×64。对于上采样模型，第L层的输出仍然是8，但每个帧的分辨率提高到256×256，增强了放大X-Ray的细节和清晰度，结果如图5和图6所示。
图5：图象到X-Ray并到3D模型生成
图6：文本到X-Ray并到3D模型生成
未来展望：新表现带来无限可能
随着机器学习和图象处理手艺的不断进步，X-Ray的应用前景无限广阔。
未来，这种手艺可能会与增强现实（AR）和虚拟现实（VR）手艺结合，为用户创造出完全沉浸式的3D体验。教育和训练领域也可以从中受益，例如通过3D重建提供更为直观的学习材料和模拟实验。
此外，X-Ray手艺在医疗影像和生物手艺领域的应用，可能改变人们对复杂生物结构的理解和研究法子。期待它如何改变与三维世界的互动方式。
参考文献：
[1] Andreas Blattmann, Tim Dockhorn, Sumith Kulal, Daniel Mendelevitch, Maciej Kilian, Dominik Lorenz, Yam Levi, Zion English, Vikram Voleti, Adam Letts, Varun Jampani, and Robin Rombach. Stable video diffusion: Scaling latent video diffusion models to large datasets. CoRR, 2023.
[2] Vikram Voleti, Chun-Han Yao, Mark Boss, Adam Letts, David Pankratz, Dmitry Tochilkin, Christian Laforte, Robin Rombach, Varun Jampani. SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion. arXiv preprint arXiv:2403.12008, 2024.
[3] Aaron van den Oord, Oriol Vinyals, Koray Kavukcuoglu. Neural Discrete Representation Learning. NeurIPS-2017.
[4] Tao Hu, Wenhang Ge, Yuyang Zhao, Gim Hee Lee. X-Ray: A Sequential 3D Representation for Generation. arXiv preprint arXiv: 2404.14329v1, 2024.