超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

想一下,在我们使用 web UI 图生图的时候,他比文生图多了什么,是不是多了个加载图像的位置。 我们怎么才能把图片转成可以被识别的信息呢,我们需要把图片解码成可以被识别的信息。 上期回顾:一、创建流程 1. 同样,我们先打开文生图基础流程,我们这个基础上把图生图流程加进去; 2. 我们“右键——新建节点——图像——加载图像”,然后把图片传上去; 3. 我们在加载图像上鼠标点击住“图像”往外拉,松开然后选择“VAE 解码”; 4. 我们再把“VAE 解码的 Latent”和“采样器的 Latent”链接,“VAE”

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

想一下,在我们使用 web UI 图生图的时候,他比文生图多了什么,是不是多了个加载图像的位置。

我们怎么才能把图片转成可以被识别的信息呢,我们需要把图片解码成可以被识别的信息。

上期回顾:

一、创建流程

1. 同样,我们先打开文生图基础流程,我们这个基础上把图生图流程加进去;

2. 我们“右键——新建节点——图像——加载图像”,然后把图片传上去;

3. 我们在加载图像上鼠标点击住“图像”往外拉,松开然后选择“VAE 解码”;

4. 我们再把“VAE 解码的 Latent”和“采样器的 Latent”链接,“VAE”连接到“VAE 加载器”;

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

5. 这时候我们会发现两个问题,“加载图像的遮罩”没有连接任何节点,这个没关系,我们在使用局部重绘的时候才使用这个功能,图生图用不到。还有个就是原本的“空 Latent”断开了,是的,我们不能设置尺寸了,这个情况下会按照你上传的图片尺寸为基础。我们先出图看一下吧。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

6. 有没有发现,我们出的图只是引用了图片尺寸,出图内容和上传的图片没有任何关系。大家还记得我们之前讲过的采样器里面的降噪吗,我们现在的数值是 1,他会 100%按照我们的文字描述出图。降噪数值越低和原图越接近,越高权重越偏向文字描述(我们一般会使用 0.5-0.8)。

7. 他的原理就是把已有的图像特征放进去再去做去燥迭代,0.8 就是我们跳过 20%的步数,用其余 80%的步数在原有图像噪点上进行文生图。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

二、调整尺寸

1. 我们前面说没有连接“空 Latent”,不能设置尺寸了,这个情况下图片特别大或者特别小都会出问题;

2. 我们“右键——新建节点——图像——放大——图像缩放”,并把他连接在“加载图像”和“VAE解码”中间。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

3. 我们看到有四个可以设置的参数,除了缩放方法外(三种缩放方法,区别不是太大,我们使用时默认不修改即可),中间两个是宽高。最后一个是裁剪,但是有两种裁剪方式:

a. disabled:直接拉伸(我们以一张 1024*1536 变成 1024*1024 为例)

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

4. center:根据中心进行裁剪(我们以一张 1024*1536 变成 1024*1024 为例)

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

5. 这两种裁剪方式都有个问题:

disabled,我们需要知道原图片的尺寸,并且按照比例计算宽高,不然就会变形; center,根据中心进行裁剪,有很大的可能会裁掉我们需要的内容。

derfuu 插件:

①这时候我们可以通过 derfuu 插件去帮我们解决需要计算的问题,他可以根据图片比例自动计算成你想要的尺寸;

② derfuu 插件地址: https://github.com/Derfuu/Derfuu_ComfyUI_ModdedNodes.git (网盘也有我下载好的,不会安装的看我 ComfyUI 系列教程一);

③我们“新建节点——Derfu节点(Derfu_Nodes)——自设节点——图像——Image scale to side”,这时候我们就可以删掉“图片缩放”换成“Image scale to side”了;

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

④我们在“Image scale to side”会看到有四个可调节的参数(upscale_method、crop 不用修改,默认的就可以):

side_length(边长):我们 side 参数选择边的尺寸应该改成多少 side(边):我们按照图像的那条边进行缩放,给了三个选择:Longest(长)/Height(高):这两个所控制的是一样的,都是以图片的高度为基础进行缩放;Width(宽):以图片的宽度为基础进行缩放。 upscale_method(缩放方法):三种缩放方法,邻近-精准、双线性插值、区域,区别不是太大,我们使用时默认不用修改即可; crop(裁剪):和我们上面说“图片缩放”时的裁剪一样,但是这个设置在这不起作用,因为我们是通过比例进行缩放的,不用进行裁剪(可能在其他的节点上起作用吧,我们使用时默认不用修改就可以);

5. 我们可以跑图了,快去玩耍吧。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图流程

三、知识点扩展

还记得我们上节课讲的 refiner 细化流程吗,我们图生图的时候是不是也可以使用 refiner 模型细化呢?

我们先复制一下图生图最主要的几个节点(加载图像、Image scale to side、VAE 编码),然后打开文生图 - refiner 细化流程并粘贴进去。

那我们把“VAE 编码的 Latent”连接到 “base 模型的采样器”上面(空 Latent 就不需要了,可以删掉了);

这时候还有个问题,我们是通过“降噪”来控制出图相似度的,但是“采样器(高级)”没有“降噪”可以输入。我们可以想一下“降噪”的作用和“采样器(高级)”里面哪个功能相似呢?

当然是“开始降噪步数”了,同样是用来跳过迭代步数的,但是相反的是,“开始降噪步数”数值越高和原图越接近,越低越偏向文字描述;

注意(1):开始降噪步数的数值不要超过“总步数-结束降噪步数”;

相关资讯

速度更快!新版 SD WebUI Forge 保姆级安装教程

不知道平时经常使用 SD WebUI 的小伙伴发现没有,随着安装插件和模型越来越多,WebUI 时不时会出现卡顿或爆显存的情况,尤其在低显存的硬件上更加明显,只能不停的重启来解决。 估计是 WebUI 的作者张吕敏博士自己也发现了这个问题,于是升级版的 SD WebUI Forge 它来了!操作界面虽然和原来的一模一样,但运行效率和图像生成速度都有了不错的提升,下面快跟着我来看看吧~ 一、Forge 基础介绍 首先关于为什么取 Forge 这个名字:单词 Forge 有「锻造」的意思,根据作者解释,该词的灵感是来源

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前为大家介绍过 AI 绘画工具 Krea,它可以根据手绘的草图实时生成完整的画面,可以让我们更精准地控制图像效果,对电商、产品、游戏概念等设计领域来说非常有帮助。之前为大家推荐过一种在 ComfyUI 中免费实现 AI 实时绘画的方式,今天就再为大家推荐另一种在 Stable Diffusion WebUI 中实现实时绘画的方法。一、插件简介 SD WebUI 的实时绘画功能需要借助一个插件实现,这个插件是上周由 B 站 AI 绘画博主@朱尼酱推出,支持文生图、图

保姆级教程!如何用AI快速生成超好看的艺术二维码?

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前为大家出了一期制作风格化二维码的教程,是用 Stable Diffusion WebUI 加上 controlnet 插件在黑白方块中融入插画。不过很快这种二维码就发展出更神奇的样式——黑白色块完全融入到画面中,第一眼根本看不出,但是依旧可以被手机扫描和识别。而达到这样的效果只需要一个新的 controlnet 模型 QR code monster,今天展示一下具体的制作过程。 了解 Stable Diffusion WebUI 和 Controlnet 插件: