Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

前言:我们在前面的基础教程中已经知道怎么去连接 Controlnet 了,接下来我们就要去了解一下不同的 Controlnet 预处理器以及 Controlnet 模型分别有什么结果和作用; 我们先从最常用的“线条预处理器”开始,这也是我们最常用的预处理器之一,我们做动漫转真人、真人转动漫、线稿上色等结果时必用的一个预处理器; 我们会在“Controlnet 预处理器-线条”线条里面发现 14 个不同的预处理器,插件作者一直在更新,也许过段时间大家会看到更多的预处理器。一、线稿 1. Canny 细致线预处理器:①

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

前言:

我们在前面的基础教程中已经知道怎么去连接 Controlnet 了,接下来我们就要去了解一下不同的 Controlnet 预处理器以及 Controlnet 模型分别有什么结果和作用;
我们先从最常用的“线条预处理器”开始,这也是我们最常用的预处理器之一,我们做动漫转真人、真人转动漫、线稿上色等结果时必用的一个预处理器;
我们会在“Controlnet 预处理器-线条”线条里面发现 14 个不同的预处理器,插件作者一直在更新,也许过段时间大家会看到更多的预处理器。

一、线稿

1. Canny 细致线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:识别图象中的边沿信息,并生成物体的线稿。生成的线条十分明显,粗细、颜色一致,没有大的变化。

②阈值(数值区间:0-255):

低阈值:统制弱边沿检测阈值,数值越低线条越复杂/细节越丰富,数值越高线条越简单/细节越少;
高阈值:统制强边沿检测阈值,数值越低线条越复杂/细节越丰富,数值越高线条越简单/细节越少;

③对应模型:

SD1.5 模型:control_v11p_sd15_canny、t2iadapter_canny_sd1.5v2
SDXL 模型:control-lora-canny-rank128、control-lora-canny-rank256

④结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

2. HED 清楚线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:从图象中提炼边沿线,相对于 Canny 处理的锐利边沿线,HED 提供了边沿过度,可以保留更多严厉的边沿细节,类似手绘结果(好处:通过线条区分画面层次,以及图象中的严厉边沿。能更好的融入画面,减少画面细节的突兀)

② 稳增:开启后会使提炼的线条明暗对比更明显,清楚内容也会减少。选择是否增稳,具体看图片生成结果。

③对应模型:

SD1.5 模型:control_v11p_sd15_softedge
SDXL 模型:暂无

④结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

3. PidiNet 清楚线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:与 HED 类似,从图象提炼(有过度)边沿,因为算法不同,结果也略有差异;

②稳增:开启后会使提炼的线条明暗对比更明显,清楚内容也会减少。选择是否增稳,具体看图片生成结果;

③对应模型:

SD1.5 模型:control_v11p_sd15_softedge、control_v11p_sd15_scribble、t2iadapter_sketch_sd15v2
 SDXL 模型:暂无

④结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

4. TEEDPreprocessor:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:与 HED 类似,从图象提炼边沿以及严厉边沿过度,但线条细节更丰富;

②safe_steps:数值越小,严厉边沿过度区域越小;数值越大严厉边沿过度区域越大;(数值区间:0-10,0 与 10 结果相同)

③对应模型:

SD1.5 模型:control_v11p_sd15_softedge
SDXL 模型:controlnet-sd-xl-1.0-softedge-dexined

④结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

5. LineArt 艺术线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:从图象中提炼艺术线条风格的边沿线,相较于 Canny,Lineart 提炼的线稿更加精细,细节更加丰富;

②粗糙化:开启后线条会变的粗糙潦草,统制结果也会减弱;

③对应模型:

SD1.5 模型:control_v11p_sd15_lineart
SDXL 模型:暂无

④结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

6. LineArtStandard 艺术线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:从图象中提炼艺术线条风格的边沿线,相较于 LineArt 艺术线预处理器,增加了亮面和暗面过度区域(美术生小伙伴肯定熟悉,这就是我们画画时常说的明暗交界线)

②Guassian_sigma:用来统制高斯清楚的数值大小;数值越小,亮暗面过度区域越小;数值越大,亮暗面过度区域越大;(数值区间:0-100)

③强度阈值:数值越小,亮暗面过度区域越大;数值越大,亮暗面过度区域越小;(数值区间:0-16)

④ 对应模型:

SD1.5 模型:control_v11p_sd15_lineart
SDXL 模型:暂无

⑤结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

7. AnimeLineArt 动漫艺术线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:从图象中提炼动漫艺术线条风格的边沿线,相比 LineArt 艺术线预处理器增加了类似 HED 的清楚过度细节,不全是纯粹的细线了。

②对应模型:

SD1.5 模型:control_v11p_sd15s2_lineart_anime
SDXL 模型:暂无

③结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

8. MangaAnime 漫画艺术线预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:从图象中提炼漫画艺术线条风格的边沿线,轮廓凌厉且分明,适用从漫画风格图象中提炼线条

②对应模型:

SD1.5 模型:control_v11p_sd15s2_lineart_anime
SDXL 模型:暂无

③结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

9. M-LSD 线段预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:从图片中提炼直线线段,弯曲线条不会被提炼,多用于建筑设计、室内设计;

②刻痕阈值:低于阈值的线条不被检测为边沿,数值越小线越多/也会越乱,数值越大线越少/也会越简单;

③距离阈值:线条间的距离低于阈值时会被合并,数值越小线越多/也会越乱,数值越大线越少/也会越简单;

④对应模型:

SD1.5 模型:control_v11p_sd15_mlsd
SDXL 模型:暂无

⑤结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

10. Diffusion Edge:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:从图象提炼边简单边沿线(此预处理器我为找到未找到官方引见以及算法引见);

② environment:针对 indoor(室内)、urban(城市)、natrual(自然)图象进行选择处理;

③patch_batgh_size:未发现明显区别;(数值区间:1-16)

④对应模型:未找到官方推荐模型,图象处理结果偏向于 canny、lineart,可使用这几种预处理器对应的模型,我试了一下,结果都挺不错的;

⑤结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

二、涂鸦

1. Scribble 涂鸦预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:使用涂鸦化算法转换图象颜色为黑白(统制结果没有 Canny 或 HED 严格);

②对应模型:

SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无

③结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

2. Binary 二值化预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:Binary 二值化预处理器属于涂鸦类型的预处理器,使用涂鸦算法把图象颜色转换为黑白(Scribble 涂鸦预处理器的可调节版,统制结果没有 Canny 或 HED 严格);

②阈值:当色值高于阈值的像素会被处理为 1(白色),低于阈值的像素会被处理为 0(黑色),(当阈值为 0 时,结果与 255 相同)

③对应模型:

SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无

④结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

3. ScribbleXDoG 涂鸦预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:Scribble 与 XDoG 结合,可通过 XDoG 阈值来统制细节。

②阈值:数值越低,处理的图象越复杂/线条越多;数值越高,处理后的图象越简单/线条越少(数值区间 0-64)

③对应模型:

SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无

④结果预览:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

4. FakeScribble 伪涂鸦预处理器:

Stable Diffusion ComfyUI 进阶教程(一):Controlnet 线条预处理器

①引见:提炼图象中黑白分明的边沿线并生成类似涂鸦结果的草图线条,类似于灵魂画手画出来的画(哈哈哈,能知道是什么样的了吧)。正因为生成的线条比较粗犷,所以他的统制结果比上述几种涂鸦结果还弱,只能进行粗略统制,但是他非常适合对我们随手涂鸦的“大作”进行转绘。

②阈值:开启增稳会略微增加线条细节,实际上区别不是太大;

③对应模型:

SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无

④结果预览:

给TA打赏
共{{data.count}}人
人已打赏
应用

“一夜变天”,ChatGPT奇迹也将发作在机械人领域

2024-3-6 18:29:00

应用

AI 绘画神插件 LayerDiffusion 教程!直接用文本生成晶莹底图象!

2024-3-7 8:05:26

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索