论文链接：https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf
项目主页：https://peizhuoli.github.io/neural-blend-shapes/
GitHub代码仓库：https://github.com/PeizhuoLi/neural-blend-shapes
01 引 言
骨骼驱动的三维人物动画在游戏、影视等应用场景中随处可见。然而，利用骨骼驱动三维人物网格模型（mesh）进行变形并得到动画，通常需要经历繁琐的骨骼搭建（rigging）以及蒙皮权重绑定（skinning）。这些处理技巧复杂而艰深，动画师通常需要数年的时间来尝试掌握。此外，一些常见的特定行动，例如弯曲肘部、蹲下，由于常用的蒙皮技巧（线性混合蒙皮，Linear Blend Skinning）的局限性，枢纽关头区域的变形并不理想。
左：现有技巧在枢纽关头区域的问题；右：本文技巧生成的高质量且细节丰富的动画
为了简化骨骼搭建和蒙皮权重绑定的过程、高效利用行动捕捉数据以及生成高质量的动画，我们开发了一套能生成具有指定构造的骨骼以及精准绑定权重的神经网络。加以我们提出的神经混合形态（neural blend shapes）技巧，我们实现了实时高质量三维人物模型动画的端到端自动生成
方式概览
02 方式简介
从处于 T 姿态的人物模型以及在给定的骨骼构造上的枢纽关头旋转开始，我们的包袱变形分支（envelope deformation branch）学习并预测出相应的骨骼以及蒙皮权重。与此同时，赔偿变形分支（residual deformation branch）预测出对应的混合形态（blend shapes）并利用输入的枢纽关头旋转预测对应的混合系数，然后基于此插值得到赔偿变形。综合以上中间结果，可微分包袱变形模块将生成最终的变形结果。这一设计使得我们的神经网络能够通过仅观察变形后的人物模型进行间接学习，而不需要对训练数据集的变形方式有任何限制，极大增广了该方式的适用范围。
方式框架
我们的神经网络利用了网格卷积[1]和骨骼卷积[2]搭建各个模块。基于这些最前沿技巧的基本算子，我们的网络可以在具有任意网格连通性的人物模型上生成高质量的结果。下图展示了我们的网络的具体架构：
包袱变形分支
赔偿变形分支
03 结果展示
我们的方式能准确的预测出与人物模型高度匹配的骨骼以及绑定权重：
骨骼以及绑定权重的可视化
特别的，我们的方式能生成符合预先指定构造的骨骼，这一点在利用行动捕捉数据时尤为关键。而 RigNet[3]只提供了十分有限的用户操纵参数，生成的骨骼构造难以控制：
从左至右分别为：RigNet(12), RigNet(25), RigNet(50), Ours
由于我们的神经网络直接在高质量变形模型上训练，仅利用包袱变形分支就已经超过了基准的线性混合蒙皮技巧。再加上我们的神经混合形态技巧，枢纽关头区域的变形结果便是更上一层楼：
动画结果对比
参考：
[1] Hanocka et al., 2019, MeshCNN: A Network with an Edge
[2] Aberman et al., 2020, Skeleton-Aware Networks for Deep Motion Retargeting
[3] Xu et al., 2020, RigNet: Neural Rigging for Articulated Characters
图文 | 李沛卓
Visual Computing and Learning (VCL)