图象生成、视频生成、整合语音合成的人脸动画、生成三维的人物疏通以及 LLM 驱动的东西…… 一切都在这篇文章中。
生成式 AI 已经成为互联网的一个重要内容来源，现在你能看到 AI 生成的文本、代码、音频、图象以及视频和动画。今天我们要介绍的文章来自立陶宛博主和动画师 aulerius，其中按层级介绍和分类了动画领域运用的生成式 AI 手艺，包括简要介绍、示例、优缺点以及相关东西。
他写道：「作为一位动画建造者，我希望一年前就有这样一份资源，那时候我只能在混乱的互联网上自行寻找可能性和不断出现的进展。」
本文的目标读者是任何对这一领域感兴趣的人，尤其是不知如何应对 AI 领域新手艺发展的动画师和创意人士。另需说明，视频风格化虽然也是相关手艺，但本文基本不会涉及这方面。
本文的文章结构。
图象生成
图象生成手艺是指运用 AI 模型生成图象的手艺，这些 AI 模型的训练运用了静态图象。
将生成的图象用作素材
将任意 AI 运用生成的静态图象用作 2D 剪贴画、数字解决、拼贴等传统工作过程中的素材，或者用作其它 AI 东西的资源，比如提供给图象转视频（image2video）东西来生成视频。除了作为图象和素材来源，这类手艺还需依赖剪切和图象编辑等一些常用技能。
短片《Planets and Robots》中运用了数字剪贴画来将生成的 AI 图象动画化，其中的配音也是运用 LLM 基于脚本生成的。
优点：
现有动画师就很容易上手运用
可用于生成背景图
缺点：
生成结果没有多少「新意」
需要动画师协调解决素材和动画
收费东西（任何生成图象模型或运用）：
Stable Diffusion（SD，运行在本地计算机上）或这些在线运用：Craiyon
Invokeai （运用了 SD）
Enfugue （运用了 SD）
SkyBox AI—— 能生成适用于 VR 的 360 度场景图
插件和附加组件：
在 Blender 中运用的 ComfyUI 节点
Krita 上的 Stable Diffusion
Krita 上的 ComfyUI—— 界面简单易用，对艺术家友好
此外，Hugging face space 上还有一些收费的演示：https://huggingface.co/spaces
付费东西（任何生成图象模型或运用）：
MidJourney
Runway
DALL・E 2
Adobe 的 FireFly
注：动画建造运用的东西包括 After Effects、Moho、Blender……
逐帧生成图象
这类手艺是以一种相当程度上立足动画根源的精神来运用生成式扩散图象模型，其是以逐帧方式生成动作序列，就像是传统动画建造的绘制再拍摄过程。其中的一大关键是这些模型在生成每张图象时没有时间或疏通的概念，而是通过某种机制或各种运用或扩展来帮助得到某种程度上的动画，从而完成所谓的「时间一致性（temporal consistency）」。
这些手艺得到的动画往往会出现闪烁现象。尽管许多运用这些东西的用户会努力清理这些闪烁，但动画师却会把这视为一种艺术形式，称为 boiling。
这方面最常用的是 Stable Diffusion 等开源模型以及基于它们构建的东西。用户可以运用公开的参数来配置它们，还可以将它们运行在本地计算机上。相较之下，MidJourney 东西的模型没有公开，而且主要是为图象生成设计的，因此无法用来生成逐帧动画。
动画也可能运用 Stable WarpFusion 来建造，这其中涉及到图象转图象的工作过程，通过一些扭变（置换）将底层的视频输出变成动画。视频作者：Sagans。
用逐帧图象来建造动画平常需要混合运用以下东西：
一步到位的东西（文本转图象）
有一些新手艺支持直接通过文本 prompt 和参数调配来生成动画：
参数插值（变形）
在每张生成的图象帧上逐渐进行参数插值，以得到过渡动画。这里的参数可能包括任何与模型相关的设定，比如文本 prompt 本身或底层的种子（隐空间游走）。
prompt 编辑法，即通过逐渐改变权重来创建动画过渡。这里运用了 Depth ControlNet 来保持手部整体形状的一致性。
图象到图象（I2I）反馈循环
通过图象到图象手艺，将每张生成的图象帧作为输出来生成动画的下一帧。这样在其它参数和种子变化时也可以生成看起来相似的帧序列。这个过程平常由 Deforum 中的「去噪强度」或「强度调度」来控制。起始帧可以是已有的图片。
这是大多数运用 Stable Diffusion 的动画完成的一个核心组件，而 Stable Diffusion 是下列许多运用依赖的手艺。这种手艺很难平衡，并且很大程度上取决于运用的采样器（噪声调度器）。
运用一张起始图象，然后运用一个稍有不同的 prompt，使其逐帧变化成其它形态。
2D 或 3D 变换（基于 I2I 循环）
逐渐变换每一帧生成图象，之后再将其作为 I2I 循环的输出。2D 变换对应于简单的平移、旋转和缩放。3D 手艺则会想象一个在 3D 空间中移动的虚拟相机，这平常需要估计每帧生成图象的 3D 深度，然后根据想象中的相机疏通来进行变形解决。
想必你已经看过这种无限放大的动画。它的视觉效果如此之棒，是因为其运用了 SD 来持续构建新细节。
实验性、疏通合成、混合等手艺
疏通合成的目标是「想象」后续生成帧之间的疏通流，然后运用这个疏通流来逐帧执行变形解决，从而基于 I2I 循环注入有机的疏通。这平常需要依赖在视频的疏通估计（光流）上训练的 AI 模型，只不过其关注的不是后续视频帧，而是后续生成帧（通过 I2I 循环），或是运用某种混合方法。
其它手艺还包括图象修复和变形手艺搭配运用、采用多个解决步骤或甚至捕获模型训练过程的快照等先进手艺。举个例子，Deforum 有很多可供用户调控的地方。
运用 SD-CN Animation 建造，其运用了一种在生成帧之间产生幻觉疏通的独特方法。起始图象只是作为起点，没有其它用途。
变换型手艺（图象到图象）：
此外还可以运用某个来源的输出来助力生成的帧和所得的动画结果：
混合（风格化）—— 混合视频源或 / 和按条件解决（ControlNets）
这类方法范围很广，做法是运用输出视频来混合和影响生成的序列。这些输出视频平常分为多个帧，作用平常是风格化现实视频。在现如今的风格化跳舞视频和表演热潮中，这类手艺常被用于完成动漫造型和性感体格。但你可以运用任何东西作为输出，比如你自己动画的粗略一帧或任何杂乱抽象的录像。在模仿 pixilation 这种定格动画手艺和替换动画手艺方面，这类手艺有广泛的可能性。
在每一帧，输出帧要么可以直接与生成图象混合，然后再输出回每个 I2I 循环，要么可以采用更高级的设定附加条件的做法，比如 ControlNet。
Deforum 搭配 ControlNet 条件化解决的混合模式，左图是原视频。遮掩和背景模糊是分开执行的，与这项手艺无关。
光流变形（运用视频输出在 I2I 循环上执行）
「光流」是指视频中估计的疏通，可通过每一帧上的疏通向量表示，其指示了屏幕空间中每个像素的疏通情况。当估计出变形工作过程中的源视频的光流后，就可以根据它对生成的帧执行变形，使得生成的纹理在对象或相机移动时也能「粘黏」在对象上。
Deforum 的混合模式支持这种手艺搭配各种设置运用。为了得到闪动更少的结果，也会增加 cadence，使得变形的效果更好。遮掩和背景模糊是分开执行的，与这项手艺无关。
3D 衍变
通过变形工作过程完成的条件解决也可能直接关联 3D 数据，这可以跳过一个可能造成模糊的环节，直接在视频帧上完成解决。
举个例子，可以直接通过虚拟 3D 场景提供 openpose 或深度数据，而不是通过视频（或经过 CG 渲染的视频）估计这些数据。这允许采用最模块化和最可控的 3D 原生方法；尤其是组合了有助于时间一致性的方法时，效果更佳。
这可能是现有手艺与用于 VFX 的 AI 手艺之间最有潜力的交叉领域，如下视频所示：https://youtu.be/lFE8yI4i0Yw?si=-a-GvsaIVPrdaQKm
有一个广泛运用的东西也运用了该手艺，其可简化并自动化用 Blender 生成直接适用于 ControlNet 的角色图象的过程。在这个示例中，ControlNet 运用手部骨架来生成 openpose、深度和法线贴图图象，最终得到最右侧的 SD 结果。（openpose 最终被舍弃了，因为事实证明它不适用于只有手部的情况。）
将所有这些手艺结合起来，似乎有无尽的参数可以调整动画的生成结果（就像模块化的音频建造）。它要么可以通过关键帧进行「调度」并运用 Parseq 这样的东西绘制图形，要么可以与音频和音乐关联，得到许多随音频变化的动画。只需如此，你就能运用 Stable Diffusion 帮你跳舞了。
优点：
全新且不断演变的美学风格，这是这种媒体形式特有的。
在概念上与传统的动画手艺有共同点。
最容易定制化、最实用且易于指导。
模块化、分层的方法。
缺点：
往往会有闪动问题，有时候会显得很混乱。
手艺方面要考虑的东西很多，难以平衡考虑，要想成为高手必须经历陡峭的学习曲线。
如果没有性能卓越的本地硬件（英伟达 GPU），就会很不方便。
收费东西：
可在 A1111 webui 中运用的东西：
用于参数插值动画（travel）的小脚本：步骤（https://github.com/vladmandic/sd-extension-steps-animation） 、prompt（https://github.com/Kahsolt/stable-diffusion-webui-prompt-travel ）、种子（https://github.com/yownas/seed_travel）。
Deforum—— 能够满足各种动画 SD 需求的最佳工房，整合了上面大多数手艺。
Parseq—— 用于 Deforum 的常用视觉参数排序东西。
Deforum timeline helper—— 另一款参数可视化和调度东西。
Deforumation—— 用于实时控制 Deforum 参数的 GUI，支持反应性调整和控制。
TemporalKit—— 采用了 EBsynth 的一些原则，可与 SD 搭配运用完成一致的视频风格化。
SD-CN Animation—— 这多少还是个实验性东西，支持一些混合风格化工作过程，也支持有趣的光流疏通合成（这会导致疏通抖动）。
TemporalNet——ControlNet 模型可以用在 Deforum 等其它工作过程中，目标是提升时间一致性。Python 笔记本（需要在 Google Colab 或 Jupyter 上运行）。
Stable WarpFusion —— 实验性的代码东西包，目标是执行高级的视频风格化和动画。与 Deforum 有很多一样的功能。
插件和附加组件：
用于 Blender 的 Dream Textures
Stabiliy AI 的 Blender 插件
看起来像用于 Blender 的 Openpose 的角色骨架 —— 可在 Blender 之外运用 ControlNet
用于虚幻引擎 5 的 Unreal Diffusion
用于 After Effects 的 After-Diffusion（目前还在开发中）
用于 TouchDesigner 的 A1111 或 ComfyUI API—— 如果你知道如何操作，那么这可用于执行动画等各种任务
付费东西：
（平常也依赖于 SD，但运行在「云」上，用起来也更简单）：
Stability AI 的动画 API
Kaiber 的 Flipbook 模式 —— 按照描述，基于 Deforum 代码
插件和附加组件：
用于 After Effects 的 Diffusae
市面上还有许多运用和东西，但如果是付费东西，多半是基于开源的 Deforum 代码。
注：最好的情况是你有足够的优良硬件（即 GPU）在本地运行这些东西。如果没有，你也可以尝试运行在远程计算机上的、功能有限的收费服务，比如 Google Colab。不过，Google Colab 上的笔记本也可以运行在本地硬件上。
视频生成手艺
这类手艺运用在疏通视频上训练的视频生成 AI 模型，另外可以在神经网络层面上运用时间压缩来增强。
目前，这些模型有一个共同特征是它们仅能解决时间很短的视频片段（几秒），并受到 GPU 上可用视频内存的限制。但是，这方面的发展速度很快，并且可以用一些方法将多个生成结果拼接成更长的视频。
视频生成模型
这是指运用从头构建和训练的模型来解决视频。
现今的这类模型得到的结果往往晃动很大、有明显的 AI 痕迹、显得古怪。就像是很久之前生成图象的 AI 模型一样。这个领域的发展落后一些，但进展很快，我个人认为在静态图象生成上取得的进展并不会同等比例地在视频生成方面重现，因为视频生成的难度要大得多。
Paul Trillo 运用 Runway 的 Gen-2，仅通过图象和文本 prompt 让 AI 生成的视频。
我认为在这方面，动画和传统电影之间的界限很模糊。只要其结果还与现实有差异，那么我们就可以在一定程度上把它们看作是动画和视频艺术的一种怪异新流派。就目前而言，我认为大家还是别想着用这类手艺做真实风格的电影了，只把它视为一种新形式的实验媒体即可。玩得开心哦！
一步到位的东西（文本转视频）：运用文本 prompt 生成全新的视频片段
理论上讲，这类手艺有无限可能性 —— 只要你能将其描述出来（就像静态图象生成那样），就可能将其用于直播表演或生成任何超现实和风格化的内容。但从实践角度看，为了训练视频模型，收集多样化和足够大的数据集要难得多，因此仅靠文本来设定生成条件，很难用这些模型完成利基（niche）的美学风格。
运用这种方法，只能很宽松地控制创意工作。当与图象或视频条件化解决（即变形工作过程）组合运用时，这种手艺就会强大得多。
Kyle Wiggers 做的动画生成测试，运用了 Runway 的 Gen-2
变形：运用文本 prompt，再根据已有的图象或视频进行进一步的条件化解决
图象到视频生成
很多视频生成东西都能让你以图象为条件生成视频。其做法可以是完全从你指定的图象开始生成，也可以将指定图象用作语义信息、构图和颜色的粗略参考。
人们经常会运用传统的静态图象模型生成起始图象，然后再将其输出视频模型。
这里生成的每一段视频都是运用一张唱片封面作为起始图象，作者：Stable Reel
视频到视频生成
类似于图象生成模型中的图象到图象过程，也有可能将输出视频的信息嵌入到视频模型中，再加上文本 prompt，让其生成（去噪）输出。
我并不理解这其中的具体过程，但似乎这个过程不仅能在逐帧层面上匹配输出视频片段（如同运用 Stable Diffusion 进行风格化解决），而且能在整体和疏通层面上匹配。和图象到图象生成过程一样，这个过程受去噪强度控制。
如果运气好并且有合适的 prompt，你也可以输出视频来「启发」模型重新想象源视频中的疏通，并以完全不同的形式将其呈现出来。运用 webui txt2vid 中的 Zeroscope 完成，运用了 vid2vid 模式。
优点：
这类手艺具有最大的可能性，并且会随时间不断改进。
在专业动画知识方面没有进入门槛。
相比于逐帧的手艺，这类手艺的结果往往更加平滑，平常也更为一致。
对于「变形」工作过程而言，这可能是比逐帧方法更简单直接的方法。
缺点：
得到的结果平常显得离奇怪异，一看就是 AI 生成的，而且这种情况比静态图象严重多了。在涉及人的仿真实影像方面尤其明显。
计算成本高。相比于图象 AI，更难以在本地硬件上运行。
存在视频时长短和上下文短等限制（目前而言）。
收费东西：
Stable Video (SVD)—— 来自 StabilityAI 的开源视频扩散模型。目前很多托管式运用和东西都在快速部署完成该模型。
SVD ComfyUI 完成
SVD 时间 ControlNet
MotionCtrl—— 经过增强，允许在各种视频模型中控制目标疏通和摄像机轨迹。
Emu Video——Meta 的视频生成模型的预览演示。
A1111 webui 的文本转视频插件，可搭配以下模型运用（如果你的硬件足够）：
VideoCrafter
Zeroscope
插件和附加组件：
用于 Blender 的 Pallaidium—— 一个多功能东西包，包含跨图象、视频甚至音频领域的生成功能。
此外，你还能在 Hugging face space 上找到一些收费演示。
付费东西（有试用版）：
Runway 的 Gen2
Kaiber 的 Motion 模式
Pika labs（受限 beta 版）
注：最好的情况是你有足够的优良硬件（即 GPU）在本地运行这些东西。如果没有，你也可以尝试运行在远程计算机上的、功能有限的收费服务，比如 Google Colab，不过大多数收费或试用服务的功能都有限。
运用疏通压缩增强的图象模型
随着 AnimateDiff 的日益流行，出现了一个运用视频或「疏通」压缩来增强已有图象扩散模型的新兴领域。相比于运用逐帧手艺生成的结果，其生成的结果更相近于原生视频模型（如上面介绍的）。这种手艺的优势是你还可以运用为 Stable Diffusion 等图象模型构建的东西，如社区创建的任何检查点模型、LoRA、ControlNet 以及其它条件化解决东西。
你甚至有可能通过 ControlNet 提供视频条件化解决，就像是运用逐帧手艺一样。社区仍在积极实验这一手艺。可用的手艺有的来自静态图象模型（比如 prompt 遍历），也有的来自视频原生模型。
如下视频为运用 ComfyUI 中 AnimateDiff 完成的动画，过程运用了多个不同的 prompt 主题。
视频链接：https://www.instagram.com/p/Cx-iecPusza/?utm_source=ig_embed&utm_campaign=embed_video_watch_again
这种手艺中的疏通本身平常非常原始，只是在视频片段中松散地插入对象和流，这往往会将事物变形成其它模样。不过，这种手艺有更好的时间一致性，而且仍处于起步阶段。当场景很抽象，没有具体物体时，这种方法能得到最好的结果。
优点：
可以受益于现有图象扩散模型的进展。
可以通过去噪或运用 ControlNet 用视频来进行条件化解决。
解决抽象、流疏通效果很好。
缺点：
难以为人物或不常见的物体产生复杂、连贯一致的疏通，反而常出现变形问题。
和视频原生模型一样，计算成本高。相比于图象 AI，更难以在本地硬件上运行。
受限于较短的上下文窗口（目前而言），但也有一些人正在实验解决方案。
收费东西：
目前，AnimateDiff (SD v1.5) 的完成一马当先：
用于 AnimateDiff 的 A1111 webui 插件
ComfyUI 中 AnimateDiff 完成
VisionCrafter—— 一个用于 AnimateDiff 完成等项目的 GUI 东西
用于 SD XL：Hotshot-XL
多功能完成：Enfugue
付费东西：
目前好像没有
整合语音合成的人脸动画
大家都知道，这是一个流行迷因背后的手艺。你可能看过一个相对静止的人物（相机可能在移动）只有脸动着说话，这多半是用到了 AI 人脸动画化和语音合成东西的组合方法。
这其中组合了多个手艺步骤和组件。其源图象多半是运用图象生成 AI 建造的，但也可以运用任何带有人脸的图象。语音是根据文本生成的，并根据所选任务的音色进行了条件化解决。然后再运用另一个东西（或东西包中的某个模型）合成与音频唇形同步的人脸动画 —— 平常只生成图象中脸部和头部区域的疏通。运用预训练的数字化身也能让身体动起来。
在发布热门的 Belenciaga 视频之前，作者 demonflyingfox 就已经发布了一篇分步教程：https://youtu.be/rDp_8lPUbWY?si=BWNKe7-KTJpCrNjF
优点：
可用于轻松建造迷因动图。
…… 呃，有喜剧效果？
缺点：
平常看起来不自然。我还想不出这能有什么实际用途。
过于依赖付费运用提供的闭源人脸动画东西。
即使你运用自己的录像来训练数字化身，得到的结果也过于呆板，动态效果很差。
收费东西：
ElevenLabs—— 有运用次数限制，但次数似乎每个月都会刷新。
A1111 WebUI 的 Wav2Lip 插件 —— 用于生成唇形同步动画的东西。看起来仅限于嘴部区域。
你也可以在网上直接搜索文本转语音服务，不可胜计，但效果多半赶不上 ElevenLabs。
至于全脸动画化，就我所知，目前仅有一些付费运用提供了试用版，而且运用很受限。
付费东西（有试用版）：
人脸动画建造（平常会搭配语音合成）：
D-ID
Heygen
Synesthesia
搜索「D-ID 替代品」就能找到很多。
生成三维的人物疏通
这是指为 3D 人物合成疏通的手艺。这类手艺可以运用于 3D 动画电影、视频游戏或其它 3D 交互运用。正如图象和视频领域一样，新兴的 AI 东西让人可通过文本来描述人物的疏通。此外，一些东西还能根据很少的关键姿势来构建疏通或者在交互环境中实时动态地生成动画。
Nikita 的充满天才巧思的元人工智能电影预告片，其中将 AI 的疏通学习过程展现成了一部滑稽幽默的有趣短片。
由于本文的关注重点是生成东西，因此没有包含自动化某些非创意任务的 AI 运用，比如 AI 驱动的疏通跟踪、合成、打码等，例子包括 Move.ai 和 Wonder Dynamics。
优点：
能整合进现有的 3D 动画建造过程中，可减少重复性任务，有望成为动画老手的好帮手。
能很好地解决物理效果和重量。
在未来的视频游戏中完成动态的人物动画？
缺点：
似乎受限于人类形态的双足式人物。
还需要其它东西辅助。只是 3D 动画建造过程的一个组件。你需要知道接下来该做什么。
训练过程平常基于人类疏通数据，这意味着到目前为止这些东西只能完成基于真实物理效果的疏通，无法完成风格化或卡通中的疏通机制。
收费东西（或可收费运用部分功能的服务）：
Mootion
Omni Animation
Cascadeur—— 动画建造助理，可以根据最小化的输出创建平滑的、基于物理机制的动画和姿势。可控性高，可能会成为未来一个主力东西。
ComfyUI 中的 MDM、MotionDiffuse 和 ReMoDiffuse 完成。
付费东西：
收费东西的付费套餐会提供更多功能，运用限制也更少。
LLM 驱动的东西
从理论上讲，由于大型语言模型（LLM）在编程任务上表现出色，尤其是经过微调之后，那么我们就可以在建造动画的软件中让其编程和编写脚本。这就意味着按照常规工作过程建造动画时，能让 AI 从头到尾一直辅助。极端情况下，AI 能帮你完成一切工作，同时还能为后端过程分配适当的任务。
在实践中，你也能尝试这么做了！举个例子，Blender 配备了非常广泛的 Python API，允许通过代码操作该东西，因此现在已经有几个类似 ChatGPT 的辅助东西可用了。这个趋势不可避免。只要有代码，LLM 多半就会有用武之地。
优点：
潜力 —— 最终突破创意工作者面临的任何手艺障碍。
可用作创意软件的助理，消除繁琐重复的任务，帮你深度挖掘文档内容。
缺点：
如果 AI 能帮你创造一切，那么成为创意工作者还有什么意义？
目前，LLM 只能运行在强大的远程计算机上，平常是按 token 数收费或采用订阅制。
收费东西：
Blender Chat Companion——（类似于 Blender Copilot）Blender 中的一个 ChatGPT 完成，专用于解决适当的任务。运用了 ChatGPT API，这需要付费。
付费东西：
Genmo—— 承诺会完成「创意通用智能」，采用了多步过程并且全都可以通过聊天界面控制。
Blender Copilot——（类似于 Blender Chat Companion）Blender 中的一个 ChatGPT 完成，专用于解决适当的任务。运用了 ChatGPT API，这需要付费。
注：还有一个即将推出的 ChatUSD—— 这是一个可以操作和管理 USD 的聊天机器人，这是由皮克斯最初创建的标准，用以统一和简化动画电影建造中的 3D 数据交换和并行化。目前没有更多相关消息了，但英伟达似乎很欢迎这项标准并在推动其成为各种 3D 内容的标准，而不只是电影。
终于完结了！内容很多，但我多半还是遗漏了一些东西。你觉得还有什么内容有待补充或还有什么相关东西值得提及，请在评论区与我们分享。
原文链接：https://diffusionpilot.blogspot.com/2023/09/overview-ai-animation.html#id_generative_video_models