图生视频又有新玩法。
腾讯混元联合港科大、清华大学联合推出肖像动画生成框架「Follow Your Emoji」，可以通过人脸骨架信息生成任意风格的脸部动画，一键创建“脸色包”。基于算法革新和数据积累，「Follow Your Emoji」可以支持对脸部进行精细化的控制，包括眉毛，眼珠，翻白眼等细节，动物脸色包也可以轻松“拿捏”。
Follow Your Emoji不仅支持单个脸色多肖像的生成，也支持单个肖像多脸色的生成。
近年来，散布模型揭示了比旧的对抗式（GAN）方式更好的生成能力。一些方式利用强大的基础散布模型进行高质量视频和图像生成， 但这些基础模型无法直接在动画过程中保留参照肖像的身份特征并有效地对肖像进行目标脸色建模，导致视频结果显示出失真和不现实的伪影，特别是在动画化不常见范畴肖像（如卡通、雕塑和动物）。这是肖像动画任务的主要挑战之一。
图：论文整体流程图，上半部分是训练流程，下半部分是尝试流程
本研讨中，研讨员提出了一个新颖的基于散布模型的肖像动画框架Follow-Your-Emoji。算法上有两大主要创新。
首先，引入了脸色感知骨架这一脸色控制信号，能够有效地引导动画生成。具体来看，研讨员们通过肖像（脸部）3D关键点来定位信息，由于3D关键点具有固有的规范属性，可以有效地将目标举动与参照肖像对齐，避免出现失真，导致生成的视频脸部变形。
其次，该研讨还提出了一种脸部细粒度损失函数，以帮助模型专注于捕捉微妙的脸色变化和参照照片中肖像的详细外观。具体地，作者首先利用脸部掩模和脸色掩模与作者的脸色感知信号，然后计算这些掩模区域中地面真实值和预测结果之间的空间距离，来实现脸色包对原肖像的高度还原。
为了训练模型，本项研讨还构建了一个高质量的脸色训练数据集，其中包含18种夸张的脸色和来自115位主体的20分钟真人视频。同时，研讨采用了渐进式生成策略，使方式能够扩展到具有高保真度和稳定性的长期动画合成。
图：论文的定量实验结果和定性试验结果揭示，相比之前的方式，Follow-Your-Emoji可以实现更好的效果
最后，为了解决肖像动画范畴缺乏基准尝试的问题，研讨还引入了一个名为EmojiBench的综合基准尝试，其中包括410个各种风格的肖像动画视频，揭示了广泛的脸部脸色和头部姿势。使用EmojiBench对Follow-YourEmoji进行了全面评估，评估结果表明，本方式在处理训练范畴之外的肖像和举动时表现出色，与现有的基准方式相比，本方式在定量和定性上均表现更好，提供了出色的视觉保真度身份表现和精确的举动渲染。
网站：Follow-Your-Emoji: Freestyle Portrait Animation
论文：[2406.01900] Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation