在数字内容创作、虚拟形象、游戏和增强现实等领域，肖像生成已成为计算机图形学研究的热点。尽管近年来肖像生成模型取得了显著进展，能够生成越来越逼真和吸引人的肖像，但仍面临诸多挑战。
今天，给大家介绍一种个性化肖像生成框架IC-Portrait，该框架引入了一种创建逼真肖像图像的创新方法。通过结合风格参考图像，该以生成个性化肖像，保持视角一致，并准确响应光照条件。
相关链接
- 论文：http://arxiv.org/abs/2501.17159v1
- 视频：https://www.youtube.com/watch?v=By-y3IH6ejM
研究背景
肖像生成方法大致可分为两类：基于提示的样式化和基于参考图像的肖像生成。基于提示的样式化允许用户通过描述性文本提示来引导生成，但这种方法在保持主体身份特征方面存在挑战。而基于参考图像的肖像生成则直接利用现有图像定义所需样式，仅改变身份特征，为用户提供更直观的界面。然而，现有的肖像生成方法在处理多样化的用户照片（如不同的表情、光照条件和妆容）时仍显不足，导致生成的肖像在身份相似度和质量上有所欠缺。
IC-Portrait框架
在不同的侧面图像中呈现出不同的表情和妆容，展现了人类侧面的多样性。
IC-Portrait框架核心是预训练的扩散模型在上下文中密集对应匹配方面学习迅速，这为其两大设计提供了灵感。具体来说，IC-Portrait将肖像生成重新表述为两个子任务：
- 光照感知拼接：研究发现，对输入图像进行高度遮挡处理（例如80%）可以非常有效地学习参考图像的光照条件，从而生成与参考图像光照一致性的肖像。
- 视图一致性适应：利用合成的视图一致资料集来学习上下文中的对应关系，使得参考轮廓能够被变形到任意姿势，从而提供强大的空间对齐视图调节。
通过简单地连接潜在变量形成类似ControlNet的监督和建模方式，将这两种设计结合起来，IC-Portrait显著增强了身份保持的准确度和稳定性。
实验与评估
与当前最先进的肖像生成方法比较
极端光照条件下 IC-Portrait 的结果。
IC-Portrait 的多人设置。IC-Portrait 通过按顺序处理面部，固有地支持多人设置。
研究人员进行了广泛的实验评估，结果显示，IC-Portrait在定量和定性评价中均优于现有的最先进方法，特别是在视觉质量方面有了特别明显的改进。此外，IC-Portrait还展示了3D感知重光照的能力，进一步证明了其框架的有效性和灵活性。
总结
IC-Portrait框架为个性化肖像生成提供了新的解决方案，通过光照感知拼接和视图一致性适应两大设计，实现了几乎无损的身份特征保留和光照不变性的肖像生成。这一创新性的框架不仅解决了个性化肖像生成中的诸多难题，还为数字内容创作、虚拟形象等领域带来了新的可能。
