超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

想一下,在我们利用 web UI 图生图的时候,他比文生图多了什么,是不是多了个加载图象的位置。 我们怎么才能把图片转成可以被识别的信息呢,我们需要把图片解码成可以被识别的信息。 上期回顾:一、创建过程 1. 同样,我们先打开文生图基础过程,我们这个基础上把图生图过程加进去; 2. 我们“右键——新建节点——图象——加载图象”,然后把图片传上去; 3. 我们在加载图象上鼠标点击住“图象”往外拉,松开然后选择“VAE 解码”; 4. 我们再把“VAE 解码的 Latent”和“采样器的 Latent”链接,“VAE”

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

想一下,在我们利用 web UI 图生图的时候,他比文生图多了什么,是不是多了个加载图象的位置。

我们怎么才能把图片转成可以被识别的信息呢,我们需要把图片解码成可以被识别的信息。

上期回顾:

一、创建过程

1. 同样,我们先打开文生图基础过程,我们这个基础上把图生图过程加进去;

2. 我们“右键——新建节点——图象——加载图象”,然后把图片传上去;

3. 我们在加载图象上鼠标点击住“图象”往外拉,松开然后选择“VAE 解码”;

4. 我们再把“VAE 解码的 Latent”和“采样器的 Latent”链接,“VAE”毗邻到“VAE 加载器”;

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

5. 这时我们会发现两个问题,“加载图象的遮罩”没有毗邻任何节点,这个没关系,我们在利用局部重绘的时候才利用这个功能,图生图用不到。还有个就是原本的“空 Latent”断开了,是的,我们不能配置尺寸了,这个情况下会按照你上传的图片尺寸为基础。我们先出图看一下吧。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

6. 有没有发现,我们出的图只是引用了图片尺寸,出图内容和上传的图片没有任何关系。大家还记得我们之前讲过的采样器里面的降噪吗,我们现在的数值是 1,他会 100%按照我们的文字描述出图。降噪数值越低和原图越接近,越高权重越偏向文字描述(我们一般会利用 0.5-0.8)。

7. 他的原理就是把已有的图象特征放进去再去做去燥迭代,0.8 就是我们跳过 20%的步数,用其余 80%的步数在原有图象噪点上从事文生图。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

二、调整尺寸

1. 我们前面说没有毗邻“空 Latent”,不能配置尺寸了,这个情况下图片特别大或者特别小都会出问题;

2. 我们“右键——新建节点——图象——放大——图象缩放”,并把他毗邻在“加载图象”和“VAE解码”中间。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

3. 我们看到有四个可以配置的参数,除了缩放方法外(三种缩放方法,区别不是太大,我们利用时默许不修正即可),中间两个是宽高。最后一个是裁剪,但是有两种裁剪方式:

a. disabled:直接拉伸(我们以一张 1024*1536 变成 1024*1024 为例)

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

4. center:根据中心从事裁剪(我们以一张 1024*1536 变成 1024*1024 为例)

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

5. 这两种裁剪方式都有个问题:

disabled,我们需要知道原图片的尺寸,并且按照比例计算宽高,不然就会变形;
center,根据中心从事裁剪,有很大的可能会裁掉我们需要的内容。

derfuu 插件:

①这时我们可以通过 derfuu 插件去帮我们解决需要计算的问题,他可以根据图片比例自动计算成你想要的尺寸;

② derfuu 插件地址: https://github.com/Derfuu/Derfuu_ComfyUI_ModdedNodes.git (网盘也有我下载好的,不会安装的看我 ComfyUI 系列教程一);

③我们“新建节点——Derfu节点(Derfu_Nodes)——自设节点——图象——Image scale to side”,这时我们就可以删掉“图片缩放”换成“Image scale to side”了;

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

④我们在“Image scale to side”会看到有四个可调节的参数(upscale_method、crop 不用修正,默许的就可以):

side_length(边长):我们 side 参数选择边的尺寸应该改成多少
side(边):我们按照图象的那条边从事缩放,给了三个选择:Longest(长)/Height(高):这两个所控制的是一样的,都是以图片的高度为基础从事缩放;Width(宽):以图片的宽度为基础从事缩放。
upscale_method(缩放方法):三种缩放方法,邻近-精准、双线性插值、区域,区别不是太大,我们利用时默许不用修正即可;
crop(裁剪):和我们上面说“图片缩放”时的裁剪一样,但是这个配置在这不起作用,因为我们是通过比例从事缩放的,不用从事裁剪(可能在其他的节点上起作用吧,我们利用时默许不用修正就可以);

5. 我们可以跑图了,快去玩耍吧。

超详细的 Stable Diffusion ComfyUI 基础教程(四):图生图过程

三、知识点扩展

还记得我们上节课讲的 refiner 细化过程吗,我们图生图的时候是不是也可以利用 refiner 模型细化呢?

我们先复制一下图生图最主要的几个节点(加载图象、Image scale to side、VAE 编码),然后打开文生图 – refiner 细化过程并粘贴进去。

那我们把“VAE 编码的 Latent”毗邻到 “base 模型的采样器”上面(空 Latent 就不需要了,可以删掉了);

这时还有个问题,我们是通过“降噪”来控制出图相似度的,但是“采样器(高级)”没有“降噪”可以输入。我们可以想一下“降噪”的作用和“采样器(高级)”里面哪个功能相似呢?

当然是“开始降噪步数”了,同样是用来跳过迭代步数的,但是相反的是,“开始降噪步数”数值越高和原图越接近,越低越偏向文字描述;

注意(1):开始降噪步数的数值不要超过“总步数-结束降噪步数”;

给TA打赏
共{{data.count}}人
人已打赏
应用

图片尺寸不合适?3 款 AI 神器帮你收费无缝拓展!

2023-10-16 1:21:45

应用

第二波!2023年10月精选实用计划东西合集

2023-10-17 1:45:40

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索