大家好，这里是和你们一起探索 AI 的花生~
之前为大家推荐过一些可以将图像转为动图或者短视频的 AI 工具，比如 LeiaPix Converter、Runway、Pika 等，今天再为大家推荐一种在本地免费实现图像转短视频的方式，即在 ComfyUI 中使用开源模型 Stable Video Diffusion （SVD），经测试 8G 的显存也能用，并且效果也相当不错。
相关推荐：
一、Stable Video Diffusion 简介
Stable Video Diffusion（SVD）是 Stability AI 推出的开源图像到视频生成模型，可以生成基于输入图像生成 2-6 秒的高分辨率（576x1024）视频。
原图：
用 SVD 转为视频后：
官方目前放出了 2 款模型，分别是 SVD 和 SVD-XT（文末有模型资源包），其中 SVD 可以生成 14 帧的视频，SVD-XT 可以生成 25 帧的视频。 它们还分别有一个升级版本 svd_image_decoder 和 svd_xt_image_decoder，是将 sd1.5/sd2.1 vae 添加到了原本的模型中，可以让生成的视频细节更好，但是总体的稳定性不太好。
SVD 模型地址： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main SVD-XT 模型地址： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main
二、ComfyUI：SVD 图像转视频
有了开源模型，我们就可以在 ComfyUI 中通过 SVD 免费将图像转为短视频，下图是一个 SVD 的基础工作流（文末有 json 文件），其使用方法如下：
①首先将 svd.safetensors 或 svd_xt.safetensors 放入大模型文件夹中；
②将工作流文件拖入 ComfyUI 界面，对于缺失的节点可以在 Manager 中补全后再重启；
③SVD_image2vid_conditioning 是控制视频生成效果的关键节点，里面的参数作用分别是：
width/heigth：视频的宽高，最好和上传的图像尺寸一致。官方推荐的尺寸是 1024*576 或者 576*1024； video_frames：视频总帧数，按视频大模型来设定，即 svd 为 14 帧，svd_xt 为 25 帧。总帧数越多，能生成更明显生动的动作，但是对显存的压力也更大。 motion_bucket_id：控制视频动态，数值范围 1-255，数值越大，动态越明显，推荐 125-180。 fps：Frames Per Second 每秒传输帧数，数值范围 5-30，数值过高视频可能会不稳定，一般推荐 6-8。 augmentation level：表示添加到初始图像中的噪点量。数值越高，视频看起来就越不像初始图像，但提高该值可获得更多动态效果，推荐设置为 0.1。④VideoLinearCFGGuidance（视频线性引导）节点的作用是线性缩放不同帧的 cfg 数值。其数值 1.0 代表第一帧的 cfg 值，Kampler 节点中的 2.5 代表最后一帧的 cfg 值，那么中间一帧的 cfg 数值就是 1.75。这样离初始帧较远的帧将获得逐渐升高的 cfg 值，可以稍微改善视频模型的采样效果。
⑤Kampler 节点中的 cfg 数值需要随视频总帧数进行变化。如果是 25 帧，则 2.5 足够，如果是 50 帧， 则需要适当增加，比如改为 5.0。
工作流设置完成后，上传一张图像，运行后即可将其转为动态。我的显存是 8G，大概 2 分钟就能生成一个 3s 的 1024*576 短视频（14 帧）。
除了上传图像，我们也可以将文生图流程接入上面的基础工作流，这样就能直接通过文本生成短视频了。我提供的工作流是 SD 1.5 的，如果要用 SDXL 模型，难么文生图模块里 Ksampler 内的生成参数记得要做出对应的调整；同时视频模型也用的是 25 帧的 SVD_XT 模型，转换时间大概是 9 分钟。
转换结果
此外我们还可以添加一些额外的节点，让图片转视频的效果更稳定、效率更高。
下图工作流中使用了 LCM Lora 来提升图像生成效率，让 25 帧视频的生成时间由 9 分钟缩短至 5 分钟，对显存的压力也更小；FreeU_V2 节点让图像细节更精准；RIFE VFI 节点则可以进行视频插帧，让效果更流畅。不过 LCM Lora 也会让视频生成的质量有所下降，画面会变得更模糊，在实际应用中大家可以结合自己的需求看是否使用。
转换结果(多调节 lora 权重、SVD 动态强度、SVD 噪点强度和 Ksampler 中的 cfg 参数进行抽卡)：
