大家好,这里是和你们一起探索 AI 的花生~
巴黎奥运会已经结束了,这段时间除了观看激动人心的竞赛,我的另一大乐趣就是在 B 站看各种奥运会的吐槽/整活视频。而在这个过程中,我也发现不少视频都用上了 AI 技术,给人带来了新的观看体验。那么今天就和大家聊聊其中比较新奇有趣的效果以及相关实现方法,说不定哪天你也用得上~
相关推荐:
一、视频角色替换
首先是一个调侃在奥运 会开幕式上出场的 “蓝精灵” 的视频。由于 “蓝精灵” 的装扮造型和 86 版《西游记》里的青狮怪非常相似,于是一个 B 站 up 主借用了电影《美人鱼》里的经典片段,演绎 “青狮精因身份被蓝精灵冒充到警局报警”的剧情。
视频截图来源:B 站 @苏三不是珊
如果是在之前,这种视频一般会抠出青狮怪的头像,贴在演员的头部,用来实现角色替换的效果,虽然简陋但足以达意。而这个视频中,青狮怪的形象则完全覆盖了原本的演员形象,并且动作姿势都和原版一样,再加上重新配音,让整个视频的融合度非常高,犹如青狮怪真身出演了电影一样。
这个视频的评论区就有人在问这种效果是如何实现的,大家应该也都猜到肯定是用了 AI,而持续关注我文章推荐的小伙伴可能已经知道具体用的是哪个工具,没错就是之前为大家推荐过的 AI 视频生成神器 Viggle。
了解 Viggle:
目前 Viggle 已经有了官方网站,支持三种功能:Mix 功能可替换单一角色,Multi 可替换多角色,Move 是为图像角色添加动态;上面视频的实现方法就是先扣取了青狮怪的完整形象,然后用 Mix 覆盖住邓超所饰演的角色,做到完全替换。目前这些功能都可以免费试用,感兴趣的小伙伴可以体验一下。
最新的 Multi 功能演示,视频来源:Twitter@ViggleAI
二、头像开口唱歌
然后是一个关于韩国乒乓球选手林钟勋的视频。林钟勋原本要在 8 月 19 号入伍服兵役,但在赢得奥运会混双铜牌后,有了免除服兵役的资格,因此非常高兴,比赛结束后高举双手怒吼庆祝,甚至当场敬礼,宣布免服兵役,成为奥运会上的又一 “名场面”,引起不少网友的关注和调侃。
B 站一位 up 主就以杰伦的《牛仔很忙》为基础重新填词,用幽默的方式呈现林钟勋对不用服兵役的兴奋之情。虽然是一个整活视频,但是填词和视频效果非常精彩,目前播放量已经接近 700 万。
视频截图来源:B 站 @蔚蓝边际
与一般只用图片配图的整活视频不同,这首歌全程由林钟勋 “本人” 演唱,不仅口型与歌词一致,甚至有眨眼、挑眉等细微动态,给人一种 “一本正经搞笑” 的感觉。大家肯定都明白这是 AI 合成的,目前能实现唇型匹配的工具也不少,但效果这么精准、连面部肌肉运动都能呈现出来的工具却不多,目前最热门的应该是快手团队开发的 LivePortarit 面部动画生成模型 。
了解 Live Portarit:
LivePortarit 可以将真人的面部动作完美复刻到图像角色身上,效果自然贴合,给影视、游戏、3D 动画制作带来了新的处理思路。这个视频应该是 up 主先录制了自己唱歌的视频,然后将复刻到林钟勋的头像上,最后再合成到视频中。Live Portarit 是开源模型,可以部署到本地免费使用,ComfyUI 也有对应插件,目前也可以在 Huggingface 上免费体验。
在线体验 : https://huggingface.co/spaces/KwaiVGI/LivePortrait
视频来源:Twitter@Yokohara_h
三、其他 AI 视频技术
其实生成式 AI 技术早已融入到视频剪辑制作的各个方面,最常用的有自动生成字幕、文本转语音(TTS)等;短视频中广泛使用的猴哥、紫薇的声音,是通过 AI 音色克隆实现的,我们现在也可以随时克隆自己的声音;还有 “不同明星演绎某一角色“ 的视频,也是目前非常热门的一个赛道,用的是 FaceFusion 这类换脸工具。
通过换脸技术,让我们熟悉的明星重新演绎真人版《海贼王》。截图来源:B 站 UP 主 @ 电影七十二变 ,
而 AI 技术目前热仍在不断发展,未来将进一步改变视频的制作方式和呈现效果。比如前面提到的 LivePortarit, 最近又推出了动物版,可以将人物的面部表情复刻到小猫、小狗、小熊等动物身上。Windows 用户可以直接下载一键整合包,解压安装后在本地免费使用:
下载地址: https://huggingface.co/cleardusk/LivePortrait-Windows/blob/main/LivePortrait-Windows-v20240806.zip (解压就能用,文末有资源包)
用 LivePortarit 制作的创意视频。视频来源:微博@海辛 Hyacinth
萌宠类的视频本身自带流量,以其为基础的进行而二次创作也非常受欢迎,给小动物加上人类的眼睛嘴巴进行吐槽就是其中一种。而有了 Live Portarit 的这类新技术后,“动物开口说话唱歌” 将直接变成了现实,而不再需要后期合成了,大家更喜欢哪一种效果呢?
动物配音吐槽是目前非常热门的一种视频类型。截图来源:B 站 UP 主@涛哥玩配音
还有新出的 AI 视频编辑器 Vozo,支持对视频进行无痕重新编辑。你可以重新编写视频脚本,然后 AI 会自动完成翻译、音色克隆、配音、唇型匹配等工作,还支持多角色处理、自动剪辑片段和调整画幅,让我们轻松得到一个新版本的视频。
Vozo 官网: https://www.vozo.ai/
可以预见在未来的影视制作中,同一部作品在全球发行时,演员唇型可以随配音发生变化,做到无痕配音;而短视频平台上也可能会一种新类型的视频:视频片段来自某部经典电影或者电视剧,不过人物说的话却完全不一样了,但口型却是一致的。而 “眼睛为实” 也将不再绝对,甄别视频真伪会成为一件需要严肃对待的事情。
利用 Vozo 快速将一段英文视频转为中文版本,并做到音色、唇型一致。来源:Twitter@zeng_wt
还有已经是 Next Level 的 Runway gen-3 图生视频功能,目前已经有创作者将其融入到自己的 Vlog 中,基于现实生成奇幻的的视觉效果,给原本平淡的视频内容带来新活力,这也将给给影视创作、广告营销视频、以及自媒体创作带来新的创意思路。
利用 Gen-3 图生视频功能,为真实视频添加视觉特效。来源:Twitter @runwayml
那么以上就是本期对 AI 技术在视频制作上应用现状的相关介绍,喜欢的话记得点赞、收藏、评论支持一波。如果你还知道其他更多有趣的 AI 视频效果,可以在评论区和我分享。