StochSync:可在任意空间中生成高质量360°全景图和3D网格纹理

本文经AIGC Studio公众号授权转载,转载请联系出处。 StochSync方法可以用于在任意空间中生成图像,尤其是360°全景图和3D网格纹理。 该方法利用了预训练的图像扩散模型,以实现zero-shot生成,消除了对新数据收集和单独训练生成模型的需求。

本文经AIGC Studio公众号授权转载,转载请联系出处。

StochSync方法可以用于在任意空间中生成图像,尤其是360°全景图和3D网格纹理。该方法利用了预训练的图像扩散模型,以实现zero-shot生成,消除了对新数据收集和单独训练生成模型的需求。StochSync 结合了 Diffusion Synchronization(DS)和 Score Distillation Sampling(SDS)的优点,能够在条件较弱的情况下仍然生成高质量的图像。

StochSync:可在任意空间中生成高质量360°全景图和3D网格纹理

使用 StochSync 生成的各类网格纹理和全景图,包括背景中的一张(环境映射图),它是一张 360°全景图。StochSync 扩展了在方形空间中训练的图像扩散模型的能力,能够在诸如圆柱体、球体、环面和网格表面等任意空间中生成图像。

StochSync:可在任意空间中生成高质量360°全景图和3D网格纹理

相关链接

  • 论文:http://arxiv.org/abs/2501.15445v1
  • 主页:https://stochsync.github.io/

论文介绍

StochSync:可在任意空间中生成高质量360°全景图和3D网格纹理

我们提出了一种名为 StochSync 的方法,用于生成任意空间中的图像——例如 360°全景图或 3D 表面上的纹理——该方法利用了一个预训练的图像扩散模型。主要的挑战在于弥合扩散模型理解的二维图像与图像生成的目标空间之间的差距。与那些在缺乏强条件或缺乏精细细节的情况下难以取得成效的方法不同,StochSync 结合了扩散同步和得分蒸馏采样的优势,即使在条件较弱的情况下也能有效运行。实验表明 StochSync 比之前的基于微调的方法表现更出色,尤其是在 360°全景图生成方面。

方法

StochSync:可在任意空间中生成高质量360°全景图和3D网格纹理

StochSync方法的核心在于结合了Diffusion Synchronization和Score Distillation Sampling的优势,具体包括以下几个方面:

  • 最大随机性:在同步过程中引入最大随机性,优化了样本在不同实例空间之间的连贯性。这一策略通过调整噪声预测的方式,帮助消除样本间的接缝,提高了图像的整体流畅性。
  • 多步去噪计算:将传统的单步去噪预测替换为多步去噪过程,以提高生成样本的真实感和一致性。这种方法允许在每个时间步骤上进行更精确的样本预测,进而提升生成图像的细节。
  • 非重叠视图采样:在每个步骤中采用非重叠的视图采样策略,确保样本在时间上的同步,同时避免了由于视图重叠导致的真实感下降。这种方法通过交替采样不同的视图,提高了生成图像的质量。

全景生成

StochSync:可在任意空间中生成高质量360°全景图和3D网格纹理StochSync:可在任意空间中生成高质量360°全景图和3D网格纹理

StochSync:可在任意空间中生成高质量360°全景图和3D网格纹理使用 PanFusion 生成全景图的定性结果提示。在左侧列中呈现了与先前工作的比较结果,而在右侧列中展示了与 StochSync 一起的消融测试案例。

StochSync:可在任意空间中生成高质量360°全景图和3D网格纹理L-MAGIC (Cai et al., 2024)和StochSync在水平特异性提示上的定性比较。

StochSync:可在任意空间中生成高质量360°全景图和3D网格纹理三维网格纹理的附加定性结果。

相关资讯

不到60秒就能生成3D「手办」,Meta发力3D生成,ChatGPT时刻要来了吗?

3D 生成,一直在等待它的「ChatGPT时刻」。一直以来,创作 3D 内容是设计和开发视频游戏、增强现实、虚拟现实以及影视特效中最重要的部分。然而,3D 生成具有独特而艰巨的挑战,这是图像和视频等其他生成内容所不具备的。首先,3D 内容在艺术质量、生成速度、3D 网格结构和拓扑质量、UV 贴图结构以及纹理清晰度和分辨率方面具有严格的标准;其次,与其他研究相比,可用的数据量少。虽然该领域有数十亿张图像和视频可供学习,但可用于训练的 3D 内容数量要少三到四个数量级。因此,现阶段的3D 生成还必须从非 3D 的图像和

MV-DUSt3R+: 只需2秒!Meta Reality Labs开源最新三维基座模型,多视图大场景重建

本文一作为唐正纲,目前为博士生,就读于伊利诺伊大学厄巴纳 - 香槟分校,本科毕业于北京大学。 通讯作者是严志程,Meta Reality Labs 高级科研研究员 (Senior Staff Research Scientist),主要研究方向包括三维基础模型,终端人工智能 (On-device AI) 和混合现实。 近期,Fei-Fei Li 教授的 World Labs 和 Google 的 Genie 2 展示了 AI 从单图生成 3D 世界的能力。

Chirpy3D:用于创意 3D 鸟类生成的连续部分潜在特征

Chirpy3D框架可以将细粒度的2D图像理解提升至3D生成的全新境界。 当前的3D生成方法往往只关注于重构简单的对象,缺乏细致的特征和创造性。 Chirpy3D通过结合多视角扩散模型和连续的部件潜在空间,能够生成全新且合理的3D鸟类模型。