单张照片生成3D头部模型!Adobe提出FaceLift,从单一人脸图像重建360度头部模型

本文经AIGC Studio公众号授权转载,转载请联系出处。 FaceLift是Adobe和加州大学默塞德分校推出的单图像到3D头部模型的转换技术,能从单一的人脸图像中重建出360度的头部模型。 FaceLift基于两阶段的流程实现:基于扩散的多视图生成模型从单张人脸图像生成一致的侧面和背面视图;生成的视图被输入到GS-LRM重建器中,产出详细的3D高斯表示。

本文经AIGC Studio公众号授权转载,转载请联系出处。

FaceLift是Adobe和加州大学默塞德分校推出的单图像到3D头部模型的转换技术,能从单一的人脸图像中重建出360度的头部模型。FaceLift基于两阶段的流程实现:基于扩散的多视图生成模型从单张人脸图像生成一致的侧面和背面视图;生成的视图被输入到GS-LRM重建器中,产出详细的3D高斯表示。图片FaceLift能精确保持个体的身份特征,生成具有精细几何和纹理细节的3D头部模型。FaceLift支持视频输入,实现4D新视图合成,能与2D面部重动画技术无缝集成,实现3D面部动画。

unsetunset相关链接unsetunset

  • 主页: https://www.wlyu.me/FaceLift
  • GitHub: https://github.com/weijielyu/FaceLift
  • 论文: https://arxiv.org/pdf/2412.17812

unsetunset论文介绍unsetunset

图片

FaceLift是一种新颖的前馈方法,可从单张图像快速、高质量地重建 360 度头部。流程首先采用多视图潜在扩散模型,该模型可从单个面部输入生成一致的头部侧面和背面视图。然后,这些生成的视图作为 GS-LRM 重建器的输入,GS-LRM 重建器使用高斯 Splats 生成全面的 3D 表示。为了训练系统,使用了合成的 3D 人体头部资产开发了一个多视图渲染数据集。基于扩散的多视图生成器专门在合成头部图像上进行训练,而 GS-LRM 重建器在 Objaverse 上进行初始训练,然后在合成头部数据上进行微调。FaceLift擅长在重建过程中保留身份和维持视图一致性。尽管仅在合成数据上进行训练,但我们的方法仍表现出对真实世界图像的显著泛化能力。通过大量的定性和定量评估表明FaceLift在 3D 头部重建方面的表现优于最先进的方法,凸显了其实用性和在真实图像上的稳健性能。除了单幅图像重建外,FaceLift还支持视频输入以进行 4D 新颖视图合成,并与 2D 动画技术无缝集成以实现 3D 面部动画。

unsetunset方法unsetunset

图片

FaceLift概述。 给定一张人脸图像作为输入,我们训练一个图像调节的多视图扩散模型来生成覆盖整个头部的全新视图。通过利用预先训练的权重和高质量的合成数据,我们的多视图潜在扩散模型可以以高保真度和多视图一致性幻化出人头的未见视图。然后,我们对 GS-LRM 进行微调,它将多视图图像及其相机姿势作为输入,并生成 3D 高斯图块来表示人头。生成的 3D 高斯表示支持全头部全新视图合成。

unsetunset结果unsetunset

单幅图像到 3D 头部

图片

FaceLift 是一种前馈方法,它将单个面部图像提升为具有保留身份特征的详细 3D 重建。

视频作为 4D 新视图合成的输入

图片

给定视频作为输入,FaceLift 单独处理每一帧并生成 3D 高斯序列,从而实现 4D 新颖视图合成。

FaceLift 可以与LivePortrait 等 2D 面部动画方法结合,实现 3D 面部动画。

图片图片

unsetunset结论unsetunset

FaceLift是一种前馈方法,可将单个面部图像提升为具有保留身份特征的详细 3D 重建。FaceLift 使用多视图扩散来生成不可观察的视图,并使用 GS-LRM 来重建 3D 高斯图,从而实现高质量的新视图合成。为了克服捕捉现实世界多视图人头图像的困难,渲染了高质量的合成数据进行训练,并表明,尽管仅使用合成数据进行训练,FaceLift 仍可以从现实世界捕获的图像中高保真地重建 3D 头部。与基线相比,FaceLift 生成具有更精细几何和纹理细节的 3D 头部表示,并表现出更好的身份保存能力。

相关资讯

不到60秒就能生成3D「手办」,Meta发力3D生成,ChatGPT时刻要来了吗?

3D 生成,一直在等待它的「ChatGPT时刻」。一直以来,创作 3D 内容是设计和开发视频游戏、增强现实、虚拟现实以及影视特效中最重要的部分。然而,3D 生成具有独特而艰巨的挑战,这是图像和视频等其他生成内容所不具备的。首先,3D 内容在艺术质量、生成速度、3D 网格结构和拓扑质量、UV 贴图结构以及纹理清晰度和分辨率方面具有严格的标准;其次,与其他研究相比,可用的数据量少。虽然该领域有数十亿张图像和视频可供学习,但可用于训练的 3D 内容数量要少三到四个数量级。因此,现阶段的3D 生成还必须从非 3D 的图像和

模型压缩70%!精度更高!开源MoDec-GS:更紧凑、更精确的动态3DGS

本文经3D视觉之心公众号授权转载,转载请联系出处。 论文信息标题:MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting作者:Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim机构:ETRI, South Korea、KAIST, South Korea、Chung-Ang University, South Korea原文链接::. 导读3D Gaussian Splatting (3DGS)在场景表示和神经渲染方面取得了重大进展,并致力于使其适应动态场景。

MV-DUSt3R+: 只需2秒!Meta Reality Labs开源最新三维基座模型,多视图大场景重建

本文一作为唐正纲,目前为博士生,就读于伊利诺伊大学厄巴纳 - 香槟分校,本科毕业于北京大学。 通讯作者是严志程,Meta Reality Labs 高级科研研究员 (Senior Staff Research Scientist),主要研究方向包括三维基础模型,终端人工智能 (On-device AI) 和混合现实。 近期,Fei-Fei Li 教授的 World Labs 和 Google 的 Genie 2 展示了 AI 从单图生成 3D 世界的能力。