大家好我是花生~
随着生成式 AI 技术的发展,无论是 AI 图片和视频质量都越来越好,可以轻松实现“以假乱真”。与此同时大家对细节把控的追求也在不断提升,如何让角色形象或场景保持一致、如何控制人物做出复杂连贯的动作、如何控制人物的面部表情等都是目前很受关注的问题。
今天就为大家推荐 4 款可以帮我们精准控制人物头部运动和表情变化的 AI 神器,有了它们,无论是让图像人物做出指定表情,还是让 AI 视频的角色表现出细腻的情绪都没有问题,一起来看看吧~
相关推荐:
一、文本控制
熟悉 AI 绘画的小伙伴应该都知道,我们可以直接通过文本生成带不同表情的人物,所以现在很多 AI 视频在表现人物情绪时,都会选择先生成对应的图像,然后再添加动态。
目前 HaiLuo AI、Kling AI 等视频生成工具在处理这一块的动态时效果就很好,情绪传递非常到位。而且它们还可以根据提示词的要求,让原本的表情转为另一种状态,从而在视频中展现出丰富的情绪变化。
通过一张正面人物图像,生成带转头、微笑等表情的视频。来源:Twitter @Dan_Dawson__
此外,这两款 AI 工具本身的文生视频能力也很强大,可以直接生成微笑、愤怒、忧伤、恐惧等的表情,甚至是不同情绪的混合和切换,大家在创作时可以多尝试 AI 在情绪表达上的可能性。
Kling 1.5 模型直接通过文本生成复杂的人物情绪。来源:Twitter @CharaspowerAI
二、LivePortrait
在线体验: https://huggingface.co/spaces/KwaiVGI/LivePortrait
ComfyUI 插件: https://github.com/kijai/ComfyUI-LivePortraitKJ
Windows 一键安装包: https://www.uisdc.com/ai-video-7
Liveportrait 我之前已经向大家介绍过了,它控制人物面部表情时效果准确又自然,并且可控程度非常高,因此很推荐 AI 视频创作者尝试。作为一款开源模型,它可以部署到本地免费使用,ComfyUI 里也有对应的插件,还可以在 Huggingface 上免费体验。
使用时只需准备好一张目标角色的图像,然后录制一段表情动态,LivePortrait 就能将其完美复刻到图像角色脸上,操作简单,同时效果也很贴合。现在已经有人将其用驱动图像角色“对嘴型”唱歌说话上了,用来制作一些搞笑整活视频,效果也很有意思。LivePortrait 还支持对动物的表情进行控制。
视频来源:Twitter @HaruAiman
三、Advanced Liveportrait
在线体验: https://huggingface.co/spaces/fffiloni/expression-editor
ComfyUI 插件: https://github.com/PowerHouseMan/ComfyUI-AdvancedLivePortrait
在 Liveportrait 开源不久后,开源社区很快又出现了一款基于它修改而成的面部表情控制神器 Advanced Liveportrait, 它的特点是无需真人视频,直接通过滑块就能对面部动作进行编辑调节。
下面是 ComfyUI 里 Advanced Liveportrait 插件的演示效果。它将面部表情可能包含的动态拆分为了 15 个滑块,可以实现转头、偏头、闭眼、单眨眼、眼珠转动、微笑、嘴开合等操作。而且面部的一个部位发生改变后,其余部位的肌肉也会有对应的变化,因此整体的效果非常自然。
Advanced Liveportrait 很适合用来生成 AI 写真摆拍、或者拯救有瑕疵的废片;也可以用来录制头部、表情的动作发生过程。
四、FacePoke
在线体验: https://huggingface.co/spaces/jbilcke-hf/FacePoke
FacePoke 是一款最近流行起来的面部动作控制工具,使用时要先用鼠标选中角色的五官或者整个面部,然后拖动进行调节,它可以实现头部转动、眼睛开合、微笑等效果。需要注意的是,上传的图像中人物面部不要占比不能过大,半身照或者全身照比较好,否则模型会无法正确识别。
视频来源:Twitter @DesigningFlow
五、综合运用
AI 创作者 @Martin Nebelong 在 Twitter 上发布了一个视频,展示了自己是如何通过运用多个 AI 工具,完成一段带有复杂人物动作的 AI 视频的。整个视频的效果精致,制作方式也很巧妙,这里也一起推荐大家。
Martin 首先是利用 AI 实时绘画定制了一个原创角色,然后在 FacePoke 中通过鼠标控制头部进行转动,并录制了整个过程。再用 LivePortrait 实现对口型的操作,最后利用 Runway Gen 3 的视频转绘功能,将原本简单的视频变成了氛围感大片。
视频创作过程中,Martin 充分利用了不同 AI 工具的长处,从而实现了单个工具难以实现的、非常接近实拍效果的人物动态,思路非常值得借鉴。 喜欢 AI 视频创作的小伙伴平时也可以多分析、思考不同工具的特点,灵活地结合使用它们,肯定能进一步提升视频的质感。