大家好，这里是和你们一起探索 AI 的花生~
之前为大家介绍了字节的 SDXL-Lightning 模型，能在几秒内生成一张 1024*1024px 的图像。最近字节又推出了一款新的文生成视频模型 AnimateDiff-Lightning，也是在几秒钟内生成一段 3s 的视频，比原本的 AnimateDiff 模型快了 6-8 倍，有效提升了 AI 视频生成的效率。今天就为大家介绍一下 AnimateDiff-Lightning 的相关内容。
相关推荐：
一、AnimateDiff-Lightning 简介
项目主页： https://huggingface.co/ByteDance/AnimateDiff-Lightning
在线试玩： https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning
AnimateDiff-Lightning 是从 AnimateDiff SD1.5 v2 模型中提炼出来的，包含 1 步、2 步、4 步和 8 步共 4 个蒸馏模型。其中 2 步、4 步和 8 步模型的生成质量较好，1 步模型目前仅用于研究目的。官方有在线体验网站，支持 8 种镜头运动，测试了一下 10 秒内就能生成一个 2s 的视频， 并且步数越高的模型生成的质量也越好。
我分别用 AnimateDiff-Lightning 4step 模型 、8step 模型和原本的 mm_sd_v15_v2 做测试对比。同样是 2 秒（16 帧）的 512*512px 的视频，4step 模型生成时长为 8 秒，8step 模型是 16 秒，mm_sd_v15_v2 则用了 80 秒。二者速度上的差别达到 5-10 倍，但视频质量的差别并不明显。从测试结果来看 8step 模型的质量会比 4step 模型更稳定，且 AnimateDiff-Lightning 模型效果有时甚至超过 mm_sd_v15_v2。
官方表示 AnimateDiff-Lightning 模型非常适合用于视频转视频，对此我也进行了测试。同样一段 6 秒的真人视频将转绘为动漫风，AnimateDiff-Lightning 4step 模型需要 3 分钟，而 mm_sd_v15_v2 模型则需要 15 分钟，速度差了 5 倍；并且 AnimateDiff-Lightning 的转换效果还要好于 mm_sd_v15_v2，可见 AnimateDiff-Lightning 的确能有效提升视频转绘的速度。
二、在 ComfyUI 中使用 AnimateDiff-Lightning
AnimateDiff-Lightning 模型资源已经开源，官方还提供了 ComfyUI 适配模型和工作流，所以在本地部署起来也非常轻松。下面介绍一下文生视频（t2v）和视频生成视频（v2v2）的使用方法。
① 安装插件
首先需要安装好 ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite 两款插件，可以在 Manager 中安装，或者通过 Git 命令克隆，安装完成后重启 ComfyUI
网址 1： https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
网址 2： https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
② 安装模型
需要两类模型。一是 AnimateDiff-Lightning 模型的，推荐 4 步或者 8 步模型。下载后放到根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/models 文件夹中。
下载地址： https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main (文末有资源包)
然后安装 motion lora 模型，它可以为视频添加镜头有运动，包括推进、拉远、平移、旋转等。与 AnimateDiff-Lightning 模型配合使用可以让视频动态更加明显。下载后放置在根目录的 custom_nodes/ComfyUI-AnimateDiff-Evolved/motion_lora 文件夹中。
下载地址： https://huggingface.co/guoyww/animatediff/tree/main (文末有资源包)
③ 文生视频工作流
工作流地址： https://huggingface.co/ByteDance/AnimateDiff-Lightning/tree/main/comfyui （文末有资源包）
官方提供了文生视频和视频风格转换 2 款工作流，上面的资源都安装好之后，将文生视频工作流拖入 ComfyUI 中就能使用了。
使用文生视频工作流时，需要注意的点包括：
可以多尝试风格化的大模型，比如 ToonYu / DreamSharp / MajicMix Realistic / MajicMIX Reverie 等； Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform； Motion LoRA 的运动方式可以自定义，权重推荐在 0.7~0.8 之间，太高会扭曲画面内容。
④ 视频转绘工作流
如果想使用 AnimateDiff-Lightning v2v 功能，提升视频转绘速度，则需要再安装 Controlnet 插件和对应的 Openpose 模型，再导入 v2v 工作流：
ComfyUI-Advanced-ControlNet 插件： https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet ； ComfyUI_controlnet_aux 插件： https://github.com/Fannovel16/comfyui_controlnet_aux ； Openpose 模型下载： https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main （模型放到根目录的，models/controlnet/文末有资源包）
使用视频转绘工作流时，需要注意的内容有：
上传视频的不宜太长，分辨率也不要太高，官方使用的是一个 8 秒 576x1024 px 的视频； 使用的是 DWPose 预处理器，首次使用时会自动下载预处理器模型，可以在控制台查看下载进度； 视频的帧率设置要与上传的视频素材一致，否则会影响视频生成效果； Ksampler 中得生成步数必须与选择的 AnimateDiff-Lightning 对应，4 步模型就填 4，8 步模型就填 8；默认采样器 Euler，调度器选 sgm_uniform；那么以上就是本期为大家介绍的免费 AI 视频生成神器 AnimateDiff-Lightning，文内提到的模型及工作流文件都在文末的云盘链接内，有需要的有需要的小伙伴可以记得下载~
