AI视频/图像如何精准控制人物表情?快试试这 4 款神器!

大家好我是花生~ 随着生成式 AI 技术的发展,无论是 AI 图片和视频质量都越来越好,可以轻松实现“以假乱真”。与此同时大家对细节把控的追求也在不断提升,如何让角色形象或场景保持一致、如何控制人物做出复杂连贯的动作、如何控制人物的面部表情等都是目前很受关注的问题。

AI视频/图像如何精准控制人物表情?快试试这 4 款神器!

大家好我是花生~

随着生成式 AI 技术的发展,无论是 AI 图片和视频质量都越来越好,可以轻松实现“以假乱真”。与此同时大家对细节把控的追求也在不断提升,如何让角色形象或场景保持一致、如何控制人物做出复杂连贯的动作、如何控制人物的面部表情等都是目前很受关注的问题。

今天就为大家推荐 4 款可以帮我们精准控制人物头部运动和表情变化的 AI 神器,有了它们,无论是让图像人物做出指定表情,还是让 AI 视频的角色表现出细腻的情绪都没有问题,一起来看看吧~

相关推荐:

一、文本控制

熟悉 AI 绘画的小伙伴应该都知道,我们可以直接通过文本生成带不同表情的人物,所以现在很多 AI 视频在表现人物情绪时,都会选择先生成对应的图像,然后再添加动态。

目前 HaiLuo AI、Kling AI 等视频生成工具在处理这一块的动态时效果就很好,情绪传递非常到位。而且它们还可以根据提示词的要求,让原本的表情转为另一种状态,从而在视频中展现出丰富的情绪变化。

通过一张正面人物图像,生成带转头、微笑等表情的视频。来源:Twitter @Dan_Dawson__

此外,这两款 AI 工具本身的文生视频能力也很强大,可以直接生成微笑、愤怒、忧伤、恐惧等的表情,甚至是不同情绪的混合和切换,大家在创作时可以多尝试 AI 在情绪表达上的可能性。

Kling 1.5 模型直接通过文本生成复杂的人物情绪。来源:Twitter @CharaspowerAI

二、LivePortrait

在线体验: https://huggingface.co/spaces/KwaiVGI/LivePortrait

ComfyUI 插件: https://github.com/kijai/ComfyUI-LivePortraitKJ

Windows 一键安装包: https://www.uisdc.com/ai-video-7

Liveportrait 我之前已经向大家介绍过了,它控制人物面部表情时效果准确又自然,并且可控程度非常高,因此很推荐 AI 视频创作者尝试。作为一款开源模型,它可以部署到本地免费使用,ComfyUI 里也有对应的插件,还可以在 Huggingface 上免费体验。

使用时只需准备好一张目标角色的图像,然后录制一段表情动态,LivePortrait 就能将其完美复刻到图像角色脸上,操作简单,同时效果也很贴合。现在已经有人将其用驱动图像角色“对嘴型”唱歌说话上了,用来制作一些搞笑整活视频,效果也很有意思。LivePortrait 还支持对动物的表情进行控制。

视频来源:Twitter @HaruAiman

三、Advanced Liveportrait

在线体验: https://huggingface.co/spaces/fffiloni/expression-editor

ComfyUI 插件: https://github.com/PowerHouseMan/ComfyUI-AdvancedLivePortrait

在 Liveportrait 开源不久后,开源社区很快又出现了一款基于它修改而成的面部表情控制神器 Advanced Liveportrait, 它的特点是无需真人视频,直接通过滑块就能对面部动作进行编辑调节。

下面是 ComfyUI 里 Advanced Liveportrait 插件的演示效果。它将面部表情可能包含的动态拆分为了 15 个滑块,可以实现转头、偏头、闭眼、单眨眼、眼珠转动、微笑、嘴开合等操作。而且面部的一个部位发生改变后,其余部位的肌肉也会有对应的变化,因此整体的效果非常自然。

Advanced Liveportrait 很适合用来生成 AI 写真摆拍、或者拯救有瑕疵的废片;也可以用来录制头部、表情的动作发生过程。

四、FacePoke

在线体验: https://huggingface.co/spaces/jbilcke-hf/FacePoke

FacePoke 是一款最近流行起来的面部动作控制工具,使用时要先用鼠标选中角色的五官或者整个面部,然后拖动进行调节,它可以实现头部转动、眼睛开合、微笑等效果。需要注意的是,上传的图像中人物面部不要占比不能过大,半身照或者全身照比较好,否则模型会无法正确识别。

视频来源:Twitter @DesigningFlow

五、综合运用

AI 创作者 @Martin Nebelong 在 Twitter 上发布了一个视频,展示了自己是如何通过运用多个 AI 工具,完成一段带有复杂人物动作的 AI 视频的。整个视频的效果精致,制作方式也很巧妙,这里也一起推荐大家。

Martin 首先是利用 AI 实时绘画定制了一个原创角色,然后在 FacePoke 中通过鼠标控制头部进行转动,并录制了整个过程。再用 LivePortrait 实现对口型的操作,最后利用 Runway Gen 3 的视频转绘功能,将原本简单的视频变成了氛围感大片。

视频创作过程中,Martin 充分利用了不同 AI 工具的长处,从而实现了单个工具难以实现的、非常接近实拍效果的人物动态,思路非常值得借鉴。 喜欢 AI 视频创作的小伙伴平时也可以多分析、思考不同工具的特点,灵活地结合使用它们,肯定能进一步提升视频的质感。

给TA打赏
共{{data.count}}人
人已打赏
应用

不出所料!Jürgen又站出来反对Hinton得诺奖,Nature也炮轰提名过程不透明

2024-10-10 13:57:00

应用

亚马逊 AI 版图新变数,15 年老将 Matt Wood 官宣离职

2024-10-11 9:10:13

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索