大家好，这里是和你们一起探索 AI 绘画的花生~
知名 Stable Diffusion 插件 ControlNet 在 9 月初迎来了一次比较大的革新，新增了 Recolor 和 IP-Adapter 2 个新模型，更重要的是支持 xl 系列的把持模型，可以配合 SDXL 大模型运用，今天就一起来看看如何在 Stable Diffusion WebUI 中运用这些新模型~
往期回顾：
一、Controlnet 插件革新
ControlNet v1.1.4 革新介绍： https://github.com/Mikubill/sd-webui-controlnet/discussions/2039 （重要，必看）
因为要兼容 SDXL 的生态，所以在运用新版 Controlnet 模型前，须要先做好以下准备：
① 将 SD WebUI 革新到 v1.6.0 或之后的版本，Controlnet 也须要革新到 v1.1.4 或之后的版本，运用秋葉安装包的小伙伴可以直接在启动器的「版本管理」内完成革新。
② 开启显存优化。8 ~16GB 的显存（包括 8GB），须要开启中等显存优化“–medvram-sdxl”；小于 8GB 的显存（如 6GB 或 4GB），须要开启低显存优化“–lowvram”。
相关设置完成后，再启动 WebUI，就会在 Controlnet 的预处理器列表中看到新增的 Revision、Recolor 和 IP-Adapter，然后我们要下载新的模型。
二、Controlnet 新模型下载
模型下载： https://huggingface.co/lllyasviel/sd_control_collection/tree/main （文末有资源包）
在此次的革新公告中，ControlNet 官方一共列举了 43 种新的把持模型，其中 3 款是用于 SD1.5 的，其余的都是 XL 系列的把持模型。因为这些模型来自多个不同的开发方，有很多的功能是重复的，所以我们不须要全部下载，只选择一个系列运用即可。比如 Stability AI 推出的 sai_xl 256 系列，或者腾讯推出的 t2i 系列。其余的注意事项包括：
名称带 xl 的把持模型只能与 SDXL 系列的大模型配合运用；
名称带 xl 的把持模型没有配对的 yaml 预处理器；
Revision 和 Reference 这 2 款预处理器同样适用于 SDXL，但不须要把持模型。
把持模型下载完成后，放到到根目录的 extensions\sd-webui-controlnet\models 文件夹。回到 WebUI 中， 刷新 controlnet 模型列表，即可看到新安装的 xl 把持模型。
三、适用于 SD1.5 的 2 款新模型
此次革新的 ControlNet 模型虽然大部分都是 XL 系列的，但还是有 2 款适用于 SD1.5，也就是 Recolor （重新上色）和 IP-Adapter （风格迁移），一起来看一下它们的用法。
1. Recolor
Recolor 可以对图象重新上色，具体操作步骤如下：
上传一张黑白图象到 ControlNet 中，勾选启用、完美像素；
预处理选 recolor_luminance，模型选择 ioclab_sd15_recolor；
填写其他生成参数，然后点击生成即可。
大模型：realisticVisionV20
正向提醒词：a man with glasses, on the street, high quality, photo
反向提醒词：drawing, anime, low quality, distortion
Steps: 30, Sampler: DPM++ SDE Karras, CFG scale: 7, Size: 512×512, Clip skip: 2, ControlNet 0: “Module: recolor_luminance, Model: ioclab_sd15_recolor [6641f3c6], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Threshold A: 1, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced”
2. IP-Adapter
Ip-adapter 由腾讯 AI 实验室推出，它可以识别一张图象的风格、材质、内容等特性，迁移运用到新图象中，生成类似的图象，并且可以搭配其他的 ControlNet 模型运用，功能可以理解为简易版的 Lora 模型，具体运用方法如下：
在 ControlNet 中上传一张风格化图象，勾选启用、完美像素；
预处理选 ip-adapter_clip_sd15，模型选择 ip-adapter_sd15；
填写其他生成参数：
大模型：Dreamsharp8
正向提醒词：(masterpiece, best quality),1girl with long white hair sitting in a field of green plants and flowers,her hand under her chin,warm lighting,white dress,blurry foreground,
反向提醒词：easynegative,(nsfw:1.1),
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 768×768, Clip skip: 2, ControlNet 0: “Module: ip-adapter_clip_sd15, Model: ip-adapter_sd15 [6a3f6166], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced”
点击生成，完成后即可看到一张与参考图象风格类似的新图象。
如果你在运用 Ip-adapter 模型时，把持台出现如下错误提醒：
可以去文末的网盘链接中下载 clip_vision 文件夹中的 2 个.pth 文件，安装到 WebUI 根目录的 extensions\sd-webui-controlnet\annotator\downloads\clip_vision 文件夹中，重启后即可正常运用。
四、适用于 SDXL 的把持模型
XL 系列的把持模型也都是 canny、depth、sketch 之类，在功能与 SD1.5 是一样的，所以运用方法也从差不多，但有以下 2 点须要注意：
运用 SDXL 系列大模型时，须要运用 –no-half-vae 模式，即在秋葉启动器中关闭 “VAE 模型半精度优化”选项。
生成的图象尺寸在 1024px 左右为佳，不能低于 768px；
下面以 sai_xl_canny_256lora 模型为例，为大家演示一下 xl 把持模型的用法。
①选择一个 SDXL 系列的大模型，比如 sd_xl_base_1.0 或者 DreamsharpXL10；
②上传一张图象到 ControlNet 中，勾选启用、完美像素、允许预览；
③预处理器选择 canny，模型选择 sai_xl_canny_256lora，点击爆炸小图标预览线稿。
④填写生成信息：
正向提醒词：a man wearing glasses,on the street
反向提醒词：(nsfw:1.2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg，artifacts,signature,watermark,username,blurry
其他生成参数：Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 2670860720, Size: 1024×1024, ControlNet 0: “Module: canny, Model: sai_xl_canny_256lora [566f20af], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Threshold A: 100, Threshold B: 200, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced”, Version: v1.6.0
点击生成后，发现图象效是黑白的，非常模糊，须要进行优化。将 ControlNet 的把持模式改为“更偏向 ControlNet”，并且调整 CFG 数值为 3，再次点击生成，图象就恢复正常了。
就目前在 SD WebUI 中的运用体验来说，用 SDXL 大模型生成一张图象耗费的时间会比 SD 1.5 多很多 ；xl 系列的 ControlNet 模型功能也不稳定，可能会出现问题，且新版的 ControlNet 可能会影响一些其他插件的运用，比如 Deforum。 所以从运用效率的角度来看，我仍然建议大家优先运用 SD1.5 生态内的模型，不必急于运用 XL 模型。
以上就是本期为大家推荐的 ControlNet v1.1.4 的版本革新介绍。喜欢本期内容的话记得点赞收藏支持一波，之后会继续为大家带来更多 AI 绘画干货知识 ~