创建传神的动态虚构脚色，要么在训练期间必要准确的 3D 配准，要么在测试期间必要密集的输出图象，有时则两者都必要，也许 D3GA 是你必要的。
在 19 世纪，印象主义的艺术运动在绘画、雕塑、版画等艺术领域盛行，其特点是以「短小的、断断续续的笔调，几乎不传达形式」为特征，就是后来的印象派。简单来说印象派笔调未经修饰而显见，不追求形式的精准，模糊的也合理，其将光与色的科学观念引入到绘画之中，革新了传统固有色观念。
在 D3GA 中，作家的目标反其道而行之，是希望创建像照片般传神的表现。在 D3GA 中，作家对高斯泼溅（Gaussian Splatting）从事创造性的运用，作为现代版的「段笔调」，来创造实时稳定的虚构脚色的结构和外观。
印象派画家莫奈代表作《日出・印象》。
对于虚构形象的构建工作来说，创造启动型（即可以生成动画新内容）的传神人类形象目前必要密集的多视角数据，因为单目步骤缺乏准确性。此外，现有的技术依赖于复杂的预处理，包括精确的 3D 配准。然而，获取这些配准必要迭代，很难集成到端到端的流程中去。而其它不必要准确配准的步骤鉴于神经辐射场（NeRFs），通常对于实时衬着来说太慢，或者在打扮动画方面存在困难。
Kerbl 等人在经典 Surface Splatting 衬着步骤基础上引入了 3D Gaussian Splatting（3DGS）。与鉴于神经辐射场的最先进步骤相比，这种步骤在更快的帧率下呈现更高质量的图象，并且不必要任何高度准确的 3D 初始化。
但是，3DGS 是为静态场景设计的。并且已经有人提出鉴于时间条件的 Gaussian Splatting 可用来衬着动态场景，这些模型只能回放先前观察到的内容，所以不适用于表达新的或其未曾见过的运动。
在启动型的神经辐射场的基础上，作家对 3D 的人类的外观及变形从事建模，将其放置在一个规范化的空间中，但使用 3D 高斯而不是辐射场。除性能更好以外，Gaussian Splatting 还不必要使用相机射线采样启发式步骤。
剩下的问题是定义触发这些 cage 变形的旌旗灯号。目前在启动型的虚构脚色中的最新技术必要密集的输出旌旗灯号，如 RGB-D 图象甚至是多摄像头，但这些步骤可能不适用于传输带宽比较低的情况。在本研究中，作家采用鉴于人体姿式的更紧凑输出，包括以四元数形式的骨骼关节角度和 3D 面部关键点。
通过在九个高质量的多视图序列上训练个体特定的模型，涵盖各种身体形状、动作和打扮（不仅限于贴身打扮），以后我们就可以通过任何主体的新姿式对人物形象从事启动了。
步骤概览
论文链接：https://arxiv.org/pdf/2311.08581.pdf
项目链接：https://zielon.github.io/d3ga/
目前用于动态体积化虚构脚色的步骤要么将点从变形空间映照到规范空间，要么仅依赖正向映照。鉴于反向映照的步骤往往在规范空间中会累积误差，因为它们必要一个容易出错的反向传递，并且在建模视角相关效果时存在问题。
因此，作家决定采用仅正向映照的步骤。D3GA 是鉴于 3DGS 的基础上通过神经表示和 cage 从事扩展，分别对虚构脚色的每个动态部分的颜色和几何形状从事建模。
D3GA 使用 3D 姿式 ϕ、面部嵌入 κ、视点 dk 和规范 cage v（以及自动解码的颜色特征 hi）来生成最终的衬着 C¯ 和辅助分割衬着 P¯。左侧的输出通过每个虚构脚色部分的三个网络（ΨMLP、ΠMLP、ΓMLP）从事处理，以生成 cage 位移∆v、高斯变形 bi、qi、si 以及颜色 / 透明度 ci、oi。
在 cage 变形将规范高斯变形后，通过方程式 9，它们被光栅化成最终的图象。
实验结果
D3GA 在 SSIM、PSNR 和感知度量 LPIPS 等指标上从事评估。表 1 显示，D3GA 在只使用 LBS 的步骤中（即不必要为每个帧扫描 3D 数据）其在 PSNR 和 SSIM 上的表现是最佳的，并在这些指标中胜过所有 FFD 步骤，仅次于 BD FFD，尽管其训练旌旗灯号较差且没有测试图象（DVA 是使用所有 200 台摄像机从事测试的）。
定性比较显示，与其它最先进步骤相比，D3GA 能更好地建模打扮，特别是像裙子或运动裤这样的宽松打扮 (图 4)。FFD 代表自由形变网格，其包含比 LBS 网格更丰富的训练旌旗灯号 (图 9)。
与其鉴于体积步骤相比，作家的步骤可以将虚构脚色的打扮分离出来，并且打扮也是可启动的。图 5 显示了每个单独的打扮层，可以仅通过骨骼关节角度控制，而不必要特定的打扮配准模块。
