大家好，这里是和你们一起探索 AI 的花生~
之前为大家保举过一些可以将图象转为动图或者短视频的 AI 工具，比如 LeiaPix Converter、Runway、Pika 等，今天再为大家保举一种在本地免费实现图象转短视频的方式，即在 ComfyUI 中使用开源模型 Stable Video Diffusion （SVD），经测试 8G 的显存也能用，并且后果也相当不错。
相关保举：
一、Stable Video Diffusion 简介
Stable Video Diffusion（SVD）是 Stability AI 推出的开源图象到视频生成模型，可以生成基于输入图象生成 2-6 秒的高分辨率（576×1024）视频。
原图：
用 SVD 转为视频后：
官方目前放出了 2 款模型，分别是 SVD 和 SVD-XT（文末有模型资源包），其中 SVD 可以生成 14 帧的视频，SVD-XT 可以生成 25 帧的视频。 它们还分别有一个升级版本 svd_image_decoder 和 svd_xt_image_decoder，是将 sd1.5/sd2.1 vae 增加到了原本的模型中，可以让生成的视频细节更好，但是总体的稳定性不太好。
SVD 模型地址： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main
SVD-XT 模型地址： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main
二、ComfyUI：SVD 图象转视频
有了开源模型，我们就可以在 ComfyUI 中通过 SVD 免费将图象转为短视频，下图是一个 SVD 的基础处事流（文末有 json 文件），其使用方法如下：
①首先将 svd.safetensors 或 svd_xt.safetensors 放入大模型文件夹中；
②将处事流文件拖入 ComfyUI 界面，对于缺失的节点可以在 Manager 中补全后再重启；
③SVD_image2vid_conditioning 是控制视频生成后果的关键节点，里面的参数作用分别是：
width/heigth：视频的宽高，最好和上传的图象尺寸一致。官方保举的尺寸是 1024*576 或者 576*1024；
video_frames：视频总帧数，按视频大模型来设定，即 svd 为 14 帧，svd_xt 为 25 帧。总帧数越多，能生成更明显生动的动作，但是对显存的压力也更大。
motion_bucket_id：控制视频动向，数值范围 1-255，数值越大，动向越明显，保举 125-180。
fps：Frames Per Second 每秒传输帧数，数值范围 5-30，数值过高视频可能会不稳定，一般保举 6-8。
augmentation level：表示增加到初始图象中的噪点量。数值越高，视频看起来就越不像初始图象，但提高该值可获得更多动向后果，保举设置为 0.1。
④VideoLinearCFGGuidance（视频线性引导）节点的作用是线性缩放不同帧的 cfg 数值。其数值 1.0 代表第一帧的 cfg 值，Kampler 节点中的 2.5 代表最后一帧的 cfg 值，那么中间一帧的 cfg 数值就是 1.75。这样离初始帧较远的帧将获得逐渐升高的 cfg 值，可以稍微改善视频模型的采样后果。
⑤Kampler 节点中的 cfg 数值需要随视频总帧数进行变化。如果是 25 帧，则 2.5 足够，如果是 50 帧， 则需要适当增加，比如改为 5.0。
处事流设置完成后，上传一张图象，运行后即可将其转为动向。我的显存是 8G，大概 2 分钟就能生成一个 3s 的 1024*576 短视频（14 帧）。
除了上传图象，我们也可以将文生图流程接入上面的基础处事流，这样就能直接通过文本生成短视频了。我提供的处事流是 SD 1.5 的，如果要用 SDXL 模型，难么文生图模块里 Ksampler 内的生成参数记得要做出对应的调整；同时视频模型也用的是 25 帧的 SVD_XT 模型，转换时间大概是 9 分钟。
转换结果
此外我们还可以增加一些额外的节点，让图片转视频的后果更稳定、效率更高。
下图处事流中使用了 LCM Lora 来提升图象生成效率，让 25 帧视频的生成时间由 9 分钟缩短至 5 分钟，对显存的压力也更小；FreeU_V2 节点让图象细节更精准；RIFE VFI 节点则可以进行视频插帧，让后果更流畅。不过 LCM Lora 也会让视频生成的质量有所下降，画面会变得更模糊，在实际应用中大家可以结合自己的需求看是否使用。
转换结果(多调节 lora 权重、SVD 动向强度、SVD 噪点强度和 Ksampler 中的 cfg 参数进行抽卡)：