大家好，这里是和你们一起探索 AI 的花生~
之前为大家介绍了字节的 SDXL-Lightning 模型，能在几秒内生成一张 1024*1024px 的图像。最近字节又推出了一款新的文生成视频模型 AnimateDiff-Lightning，也是在几秒钟内生成一段 3s 的视频，比原本的 AnimateDiff 模型快了 6-8 倍，有效提升了 AI 视频生成的效率。今天就为大家介绍一下 AnimateDiff-Lightning 的相关内容。
相关推荐：
一、AnimateDiff-Lightning 简介
项目主页： https://huggingface.co/ByteDance/AnimateDiff-Lightning
在线试玩： https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning
AnimateDiff-Lightning 是从 AnimateDiff SD1.5 v2 模型中提炼出来的，包含 1 步、2 步、4 步和 8 步共 4 个蒸馏模型。其中 2 步、4 步和 8 步模型的生成质量较好，1 步模型目前仅用于研究目的。民间有在线体验网站，支持 8 种镜头运动，尝试了一下 10 秒内就能生成一个 2s 的视频， 并且步数越高的模型生成的质量也越好。
我分别用 AnimateDiff-Lightning 4step 模型 、8step 模型和原本的 妹妹_sd_v15_v2 做尝试对比。同样是 2 秒（16 帧）的 512*512px 的视频，4step 模型生成时长为 8 秒，8step 模型是 16 秒，妹妹_sd_v15_v2 则用了 80 秒。二者速度上的差别达到 5-10 倍，但视频质量的差别并不明显。从尝试结果来看 8step 模型的质量会比 4step 模型更稳定，且 AnimateDiff-Lightning 模型效果有时甚至超过 妹妹_sd_v15_v2。
民间表示 AnimateDiff-Lightning 模型非常适合用于视频转视频，对此我也进行了尝试。同样一段 6 秒的真人视频将转绘为动漫风，AnimateDiff-Lightning 4step 模型须要 3 分钟，而 妹妹_sd_v15_v2 模型则须要 15 分钟，速度差了 5 倍；并且 AnimateDiff-Lightning 的转换效果还要好于 妹妹_sd_v15_v2，可见 AnimateDiff-Lightning 的确能有效提升视频转绘的速度。
二、在 ComfyUI 中运用 AnimateDiff-Lightning
AnimateDiff-Lightning 模型资材已经开源，民间还提供了 ComfyUI 适配模型和职业流，所以在本地部署起来也非常轻松。下面介绍一下文生视频（t2v）和视频生成视频（v2v2）的运用方法。
① 装置插件
首先须要装置好 ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite 两款插件，可以在 Manager 中装置，或者通过 Git 命令克隆，装置完成后重启 ComfyUI
网址 1： https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
网址 2： https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
② 装置模型
须要两类模型。一是 AnimateDiff-Lightning 模型的，推荐 4 步或者 8 步模型。下载后放到根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/models 文件夹中。
下载地址： https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main (文末有资材包)
然后装置 motion lora 模型，它可以为视频添加镜头有运动，包括推进、拉远、平移、旋转等。与 AnimateDiff-Lightning 模型配合运用可以让视频动态更加明显。下载后放置在根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora 文件夹中。
下载地址： https://huggingface.co/guoyww/animatediff/tree/main (文末有资材包)
③ 文生视频职业流
职业流地址： https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main/comfyui （文末有资材包）
民间提供了文生视频和视频风格转换 2 款职业流，上面的资材都装置好之后，将文生视频职业流拖入 ComfyUI 中就能运用了。
运用文生视频职业流时，须要注意的点包括：
可以多尝试风格化的大模型，比如 ToonYu / DreamSharp / MajicMix Realistic / MajicMIX Reverie 等；
Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；
Motion LoRA 的运动方式可以自定义，权重推荐在 0.7~0.8 之间，太高会扭曲画面内容。
④ 视频转绘职业流
如果想运用 AnimateDiff-Lightning v2v 功能，提升视频转绘速度，则须要再装置 Controlnet 插件和对应的 Openpose 模型，再导入 v2v 职业流：
ComfyUI-Advanced-ControlNet 插件： https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet ；
ComfyUI_controlnet_aux 插件： https://github.com/Fannovel16/comfyui_controlnet_aux ；
Openpose 模型下载： https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main （模型放到根目录的，models/controlnet/文末有资材包）
运用视频转绘职业流时，须要注意的内容有：
上传视频的不宜太长，分辨率也不要太高，民间运用的是一个 8 秒 576×1024 px 的视频；
运用的是 DWPose 预处理器，首次运用时会自动下载预处理器模型，可以在控制台查看下载进度；
视频的帧率设置要与上传的视频素材一致，否则会影响视频生成效果；
Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；
那么以上就是本期为大家介绍的免费 AI 视频生成神器 AnimateDiff-Lightning，文内提到的模型及职业流文件都在文末的云盘链接内，有须要的有须要的小伙伴可以记得下载~