前言:
我们在前面的基础教程中已经知道怎么去连接 Controlnet 了,接下来我们就要去了解一下不同的 Controlnet 预处理器以及 Controlnet 模型分别有什么结果和作用;
我们先从最常用的“线条预处理器”开始,这也是我们最常用的预处理器之一,我们做动漫转真人、真人转动漫、线稿上色等结果时必用的一个预处理器;
我们会在“Controlnet 预处理器-线条”线条里面发现 14 个不同的预处理器,插件作者一直在更新,也许过段时间大家会看到更多的预处理器。
一、线稿
1. Canny 细致线预处理器:
①引见:识别图象中的边沿信息,并生成物体的线稿。生成的线条十分明显,粗细、颜色一致,没有大的变化。
②阈值(数值区间:0-255):
低阈值:统制弱边沿检测阈值,数值越低线条越复杂/细节越丰富,数值越高线条越简单/细节越少;
高阈值:统制强边沿检测阈值,数值越低线条越复杂/细节越丰富,数值越高线条越简单/细节越少;
③对应模型:
SD1.5 模型:control_v11p_sd15_canny、t2iadapter_canny_sd1.5v2
SDXL 模型:control-lora-canny-rank128、control-lora-canny-rank256
④结果预览:
2. HED 清楚线预处理器:
①引见:从图象中提炼边沿线,相对于 Canny 处理的锐利边沿线,HED 提供了边沿过度,可以保留更多严厉的边沿细节,类似手绘结果(好处:通过线条区分画面层次,以及图象中的严厉边沿。能更好的融入画面,减少画面细节的突兀)
② 稳增:开启后会使提炼的线条明暗对比更明显,清楚内容也会减少。选择是否增稳,具体看图片生成结果。
③对应模型:
SD1.5 模型:control_v11p_sd15_softedge
SDXL 模型:暂无
④结果预览:
3. PidiNet 清楚线预处理器:
①引见:与 HED 类似,从图象提炼(有过度)边沿,因为算法不同,结果也略有差异;
②稳增:开启后会使提炼的线条明暗对比更明显,清楚内容也会减少。选择是否增稳,具体看图片生成结果;
③对应模型:
SD1.5 模型:control_v11p_sd15_softedge、control_v11p_sd15_scribble、t2iadapter_sketch_sd15v2
SDXL 模型:暂无
④结果预览:
4. TEEDPreprocessor:
①引见:与 HED 类似,从图象提炼边沿以及严厉边沿过度,但线条细节更丰富;
②safe_steps:数值越小,严厉边沿过度区域越小;数值越大严厉边沿过度区域越大;(数值区间:0-10,0 与 10 结果相同)
③对应模型:
SD1.5 模型:control_v11p_sd15_softedge
SDXL 模型:controlnet-sd-xl-1.0-softedge-dexined
④结果预览:
5. LineArt 艺术线预处理器:
①引见:从图象中提炼艺术线条风格的边沿线,相较于 Canny,Lineart 提炼的线稿更加精细,细节更加丰富;
②粗糙化:开启后线条会变的粗糙潦草,统制结果也会减弱;
③对应模型:
SD1.5 模型:control_v11p_sd15_lineart
SDXL 模型:暂无
④结果预览:
6. LineArtStandard 艺术线预处理器:
①引见:从图象中提炼艺术线条风格的边沿线,相较于 LineArt 艺术线预处理器,增加了亮面和暗面过度区域(美术生小伙伴肯定熟悉,这就是我们画画时常说的明暗交界线)
②Guassian_sigma:用来统制高斯清楚的数值大小;数值越小,亮暗面过度区域越小;数值越大,亮暗面过度区域越大;(数值区间:0-100)
③强度阈值:数值越小,亮暗面过度区域越大;数值越大,亮暗面过度区域越小;(数值区间:0-16)
④ 对应模型:
SD1.5 模型:control_v11p_sd15_lineart
SDXL 模型:暂无
⑤结果预览:
7. AnimeLineArt 动漫艺术线预处理器:
①引见:从图象中提炼动漫艺术线条风格的边沿线,相比 LineArt 艺术线预处理器增加了类似 HED 的清楚过度细节,不全是纯粹的细线了。
②对应模型:
SD1.5 模型:control_v11p_sd15s2_lineart_anime
SDXL 模型:暂无
③结果预览:
8. MangaAnime 漫画艺术线预处理器:
①引见:从图象中提炼漫画艺术线条风格的边沿线,轮廓凌厉且分明,适用从漫画风格图象中提炼线条
②对应模型:
SD1.5 模型:control_v11p_sd15s2_lineart_anime
SDXL 模型:暂无
③结果预览:
9. M-LSD 线段预处理器:
①引见:从图片中提炼直线线段,弯曲线条不会被提炼,多用于建筑设计、室内设计;
②刻痕阈值:低于阈值的线条不被检测为边沿,数值越小线越多/也会越乱,数值越大线越少/也会越简单;
③距离阈值:线条间的距离低于阈值时会被合并,数值越小线越多/也会越乱,数值越大线越少/也会越简单;
④对应模型:
SD1.5 模型:control_v11p_sd15_mlsd
SDXL 模型:暂无
⑤结果预览:
10. Diffusion Edge:
①引见:从图象提炼边简单边沿线(此预处理器我为找到未找到官方引见以及算法引见);
② environment:针对 indoor(室内)、urban(城市)、natrual(自然)图象进行选择处理;
③patch_batgh_size:未发现明显区别;(数值区间:1-16)
④对应模型:未找到官方推荐模型,图象处理结果偏向于 canny、lineart,可使用这几种预处理器对应的模型,我试了一下,结果都挺不错的;
⑤结果预览:
二、涂鸦
1. Scribble 涂鸦预处理器:
①引见:使用涂鸦化算法转换图象颜色为黑白(统制结果没有 Canny 或 HED 严格);
②对应模型:
SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无
③结果预览:
2. Binary 二值化预处理器:
①引见:Binary 二值化预处理器属于涂鸦类型的预处理器,使用涂鸦算法把图象颜色转换为黑白(Scribble 涂鸦预处理器的可调节版,统制结果没有 Canny 或 HED 严格);
②阈值:当色值高于阈值的像素会被处理为 1(白色),低于阈值的像素会被处理为 0(黑色),(当阈值为 0 时,结果与 255 相同)
③对应模型:
SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无
④结果预览:
3. ScribbleXDoG 涂鸦预处理器:
①引见:Scribble 与 XDoG 结合,可通过 XDoG 阈值来统制细节。
②阈值:数值越低,处理的图象越复杂/线条越多;数值越高,处理后的图象越简单/线条越少(数值区间 0-64)
③对应模型:
SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无
④结果预览:
4. FakeScribble 伪涂鸦预处理器:
①引见:提炼图象中黑白分明的边沿线并生成类似涂鸦结果的草图线条,类似于灵魂画手画出来的画(哈哈哈,能知道是什么样的了吧)。正因为生成的线条比较粗犷,所以他的统制结果比上述几种涂鸦结果还弱,只能进行粗略统制,但是他非常适合对我们随手涂鸦的“大作”进行转绘。
②阈值:开启增稳会略微增加线条细节,实际上区别不是太大;
③对应模型:
SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无
④结果预览: