大家好,这里是和你们一起探索 AI 的花生~
随着 AI 技术的不断发展,AI 视频的生成效果也跨上了新的台阶,在画面质量、动作流畅度、角色一致性、提示词理解等方面均有明显提升,达到了 “以假乱真” 的水平。而工具变强大后,人们的想象力也得到了进一步地释放,各种由 AI 生成或编辑的视频、动图在互联网上疯传,已然成为最新的视频流量密码。
今天就带大家了解 7 种最近非常热门的 AI 视频创作思路以及它们的实现方法,看完之后你会发现 AI 视频创作远比想象中简单,即使是普通人也可以轻松抓住这一波流量~
相关推荐:
一、奇异类 AI 视频
奇异类 AI 视频是用 AI 制作出现实中本来不存在的内容,通过罕见、奇异的画面来吸引人们的关注,比如熊猫弹吉他、小猫炒菜、村民养殖恐龙致富、魔幻 T 太秀等。这种类型的 AI 视频制作起来也是最简单的,快的话一分钟就能搞定,其制作方式一般分为两种。
Kling 通过文本生成的 “大熊猫弹吉他” 视频
① 一是直接通过文字来生成,只需要在AI工具中输入你的想法,比如 “一只北极熊在开赛车” ,就能很快得到对应的结果。不过从视频质量的角度来说,目前只有 Kling 可灵、Runway Gen-3 这两款模型能较好地理解提示词并生成逼真的视频。
Kling 目前还在内测,需要去官网加入等候名单,通过后可每天免费生成 2 次。而 Runway Gen-3 需要开会员才能使用,最低 15 美元 / 月,所以它们的使用门槛还是比一般的 AI 视频工具高一点。大家可以先去 Kling 官网排队,有条件的话则推荐直接使用 Runway Gen-3。
了解 Runway: https://www.uisdc.com/gen-2
了解 Runway Gen-3 模型: https://www.uisdc.com/runway-gen-3-alpha
Runway 通过文本生成的魔幻 T 台秀
② 另一种方法是先通过 AI 绘画工具生成图像,再用 AI 视频工具添加动态。这种方式的好处是我们可以借助 AI 绘画的强大能力,生成各种奇幻的、不可思议的写实类场景,由此得到的视频内容也会更多样精致,可控性也更高,可以说无论你的脑洞有多大,AI 都能给你满意的结果。
目前可用且效果较好的图生视频工具有 Dream Machine、可灵 Kling 和即梦 Dreamnia 等。其中 Dream Machine 之前专门写文章给大家介绍过,它的图生视频质量非常高,且每月有 30 次的免费生成额度,对新手来说非常友好。像 “村民养殖恐龙致富” 这种类型的视频,如果你目前无法用上 Kling,也可以通过以下步骤生成:
写好故事剧情和脚本,可以用 ChatGPT、文心一言等工具辅助;
根据脚本,通过 Midjourney、SD WebUI 等 AI 绘画工具生成多个分镜图像,比如 “中国村民选育恐龙蛋” 、”村民照料小恐龙”、“村门口的恐龙雕塑” 等;
将图像逐张上传到 Dream Machine、Dreamnia、Runway 中工具中,配合提示词添加对应的动效;
将生成好的 AI 视频片段导入视频剪辑软件中,进行配音、加字幕等后期处理,最后导出。
了解 Dream Machine: https://www.uisdc.com/dream-machine
了解 Dreamnina: https://www.uisdc.com/dreamina
当视频在手机上无法加载,可前往PC查看。
二、AI 搞怪梗图
尔康戴墨镜、紫薇吃爆米花、蒙娜丽莎戴帽子…… 这些应该是最近最热门的一类 AI 视频了,各种我们熟悉的经典老图,在 AI 的加持下焕发出新的生命力,看完令人忍俊不禁。而这些梗图也很容易在网上实现病毒式传播。
这类视频也是通过为图像添加动效的方式实现的,所以还是推荐通过可灵 Kling 和 Dream Machine 这两款工具来实现,它们都可以根据图像+提示词,生成出符合需求的、与原画面无缝衔接的新内容。如果你有喜欢的电视剧或者世界名画,可以大胆发挥想象,让里面的人物做出意象不到的动作。
Kling 处理后的表情包梗图,视频源自网络,侵删
用 Dream Machine 为世界名画添加动效,视频来源 Twitter @KodyKurth
三、老照片场景重现
这也是最近很火的一类 AI 视频制作思路,让 AI 为老照片添加动态,原本尘封的记忆瞬间变得鲜活,非常令人感动。这类视频的做法方法与前一种类似,通过 Dream Machine、Dreamnia 或 Kling 对图像添加动态;如果你对图像的动态要求不高,那么 Runway Gen-2、Morph、Haiper 这些 AI 工具也可以使用。
了解 Haiper: https://www.uisdc.com/haiper-ai
用 AI 把老照片变成视频,视频源自网络,侵删
如果老照片比较模糊、有比较严重的破损,最好先修复一下再使用,否则会影响生成效果。会 SD 的小伙伴可以通过 controlnet tile 模型来修复,这里推荐 @Datou 老师的 Old Photo Restoration XL 工作流,效果相当不错。此外也可以借助免费的老照片修复工具来实现图片复原。
Datou 的老照片修复 ComfyUI 工作流: https://openart.ai/workflows/datou/old-photo-restoration-xl/vKtihSX1DGBiBjAovlSP
RestorePhotos.io: https://www.restorephotos.io/
Restore Photos: https://restorephotos.one/
四、AI 视频风格化
视频风格化也称视频转绘,是指将真人视频转换为一种新的风格,比如动漫、3D 卡通、剪纸风等,可以带给我们一种全新的视觉体验。目前短视频平台上就有账号专门将《爱情公寓》《大话西游》等经典电影、电视剧的进行动画转绘处理,流量也相当不错,而且这项技术也已经应用到创意视频、广告营销领域。
《爱情公寓》转绘视频截图,来源:抖音@ 逆光文化
此类 AI 视频也有专门的工具可以生成,比如我之前为大家推荐过的 DomoAI。它支持将真人视频转为日式动漫、美式动漫、3D 卡通、像素、剪纸等多种风格,效果非常支持稳定,此外还支持风格自由迁移,只需上传一张风格图像,DomoAI 就能将此风格复制到一个视频中。
了解 DomoAI: https://www.uisdc.com/domoai-2
DomoAI 的视频转动漫风效果
五、让图片跳舞
目前大部分的 AI 视频工具都无法正确生成跳舞、体操等复杂的肢体动作,所以出现了一类新的工具,专门将真人动作复制到图像角色身上,比如阿里的 Animate anyone、腾讯的 MusePose 以及最新的 MimicMotion(这些都是开源模型,大家可以通过 Pinokio 部署到本地使用),尝试对象可以是真人图像、3D 卡通图片、动漫图像或者你的手办照片。
通过 MimicMotion 将动作迁移到图片,视频来源:reddit @ bkdjart
如果你不会使用开源模型,那么之前我推荐过的 Viggle 也可以实现同样效果,而且可以免费使用。只需上传一段动作视频和一张角色图像,viggle 就能将此动作复制到图像中的角色身上,同时保证角色身体的完整立体,以及背景不变。Viggle AI 目前还支持替换视频中的角色形象,以及将真人面部动作迁移到图像的人物面部,这些功能都非常适合用来生成创意搞怪的视频。
了解 Viggle: https://www.uisdc.com/viggle
六、创意过渡视频
Dream Machine、Dreamina、Kling 等 AI 视频生成工具现在都支持「首尾帧」功能,用户可以上传两张图像,一张做为视频的开头,一张做为视频的结尾,这样用户就能更准确的控制视频的生成效果。
这项功能的本意是为了提升动态稳定性,比如人物转身、树苗生长等,但有人尝试在差异明显、或原本不相干的图像间实现过渡,从而得到了一些意想不到的效果。比如将不同的表情包串联在一起,或者实现人物在不同场景间穿梭的效果。
DreamMachine 制作的创意过渡视频。来源:Twitter @madpencil_
除此之外,Runway 的 Gen-3 模型可以直接通过文本生成高质量的场景过渡,比如下面这个视频,它可以在一系列场景变化后,让画面最终定格为文字标题,质量之高感觉直接拿来做视频片头都没有问题。
七、AI 短片
通过 AI 制作短片是应用最广泛、最有发展潜力的一个方向。尤其是在 Kling、Runway Gen-3 这些新一代 AI 工具出来之后,AI 视频更是告别了 “PPT 时代” ,能直接生成流畅清晰的结果,对当前影视制作和视频后期带来了颠覆性的影响。CCTV 6、快手、抖音、B 站等平台都发起过 AI 短片创作比赛,足见市场对其发展的看好。
一部 AI 短片的制作会用到多种 AI 技术,包括但不限于 AI 生成故事情节和拍摄脚本,AI 生成视频分镜画面、AI 图像处理、AI 添加动效、AI 生成背景音乐 / 主题曲、AI 配音/唇形一致等,当然也少不了 Ps、Pr、Ae 的专业工具的辅助。
目前用 AI 制作的短片已经在现实中广泛传播。比如在 B 站、央视频、抖音上,就有很多账号选择用 AI 进行内容制作,包括人生哲理、儿童故事、唐诗宋词、历史典故、时政内容等,比如我最近在 B 站上刷到一个短片《动物军团》,用 AI 生成不同的动物指代不同的国家,来演绎最近的国际局势。
这种视频的制作相对简单,剧本、配音都是人工完成的,视频画面及动效则 AI 生成。应该是先用 Midjourney 生成图像,然后再用 Haiper、Runway 或 Pika 这样的 AI 视频工具添加动态,最后用剪辑软件拼接合成。与传统的制作流程相比,AI 视频制作具有时间短、成本低、技术门槛低的优势,呈现出来的效果也很有趣味性和吸引力。
当视频在手机上无法加载,可前往PC查看。
还有一些是更专业的 AI 短片,比如 AI 音乐 MV、AI 宣传短片、AI 短剧等。这种一般由专业影视从业人员或团队制作,所以在剧本内容、剧情节奏、美学风格、角色设定、动态运镜、配音配乐等方面都掌控得非常到位,AI 视频的质量也更高,能直接达到商用级别,但相对应的制作时间和成本也会更高一些。
下面是一个最近爆火的全 AI 制作的音乐 MV,由网友 @Arata_Fukoe 使用多个目前最新最强大的 AI 工具合作制作,质量非常高。其使用的工具包括:
Midjourney、Stable Diffusion 制作视频分镜图片
DreamMachine、Runway Gen-3、Kling 对图片添加动态
ChatGPT 生成歌词,Suno AI 完成歌曲制作
Photshop 编辑图片,Ae 优化动态效果
当视频在手机上无法加载,可前往PC查看。
还有之前由国人 @闲人一坤 1982 制作的 AI 概念短片《山海奇镜》,在 2024 年年初时,短片看起来还是有 “PPT 感” 的,细节也不是很清晰;而现在在最新的 AI 视频技术的加持下,新发布的《山海奇镜之劈波斩浪》预告片质量有了明显提升,并且已经由概念短片正式落地成为一个系列短剧,在短视频平台上播出。短短半年时间,AI 视频就从“自娱自乐” 进化为 “商业落地”,发展速度的确惊人。
2024 年 1 月的《山海奇镜》概念预告片:
当视频在手机上无法加载,可前往PC查看。
2024 年 7 月最新发布的《山海奇镜之劈波斩浪》预告片:
当视频在手机上无法加载,可前往PC查看。
以上就是对最近较热门的 7 类 AI 视频的盘点,与传统视频内容制作相比,AI 视频在学习成本、制作时间等方面都更有优势,即使你之前完全没有基础,也能很快上手做出自己的作品,很适合普通人入局;而对专业视频、影视制作人员来说,AI 更是提升效率、释放创造力的神器。