Controlnet 最新动态!6款超好用的新模型解析(附下载)

大家好我是花生~ 之前为大家系统介绍过 Stable Diffusion WebUI 中 Controlnet 插件的安装使用方法,也系统梳理过各个模型的用法。现在 Controlnet 又有了一些新的模型和功能,今天正好为大家梳理一下。相关模型文件都在文末的云盘链接内,有需要的小伙伴记得下载~ Controlnet 相关推荐:一、Animal_openpose Animal_openpose 是一个专门提取狗、鹿、马、豹等四足动物姿势骨架的模型,也可以用来引导人马等奇幻形象的生成。使用时需要: ① 下载 rtmp

Controlnet 最新动态!6款超好用的新模型解析(附下载)

大家好我是花生~

之前为大家系统介绍过 Stable Diffusion WebUI 中 Controlnet 插件的安装使用方法,也系统梳理过各个模型的用法。现在 Controlnet 又有了一些新的模型和功能,今天正好为大家梳理一下。相关模型文件都在文末的云盘链接内,有需要的小伙伴记得下载~

Controlnet 相关推荐:

一、Animal_openpose

Animal_openpose 是一个专门提取狗、鹿、马、豹等四足动物姿势骨架的模型,也可以用来引导人马等奇幻形象的生成。使用时需要:

① 下载 rtmpose-m_simcc-ap10k_pt-aic-coco_210e-256x256-7a041aa1_20230206.onnx 预处理器模型,放到 extensions\sd-webui-controlnet\annotator\downloads\openpose 文件夹内

② 下载 control_sd15_animal_openpose_fp16.safetensors 模型文件,安装到根目录的 extensions\sd-webui-controlnet\models 文件夹中

模型文件安装完成后,在 Controlnet 中启用 animal_openpose 预处理器和模型,按正常流程生成即可。

Controlnet 最新动态!6款超好用的新模型解析(附下载)

二、Densepose

Densepose 也是控制人物动作的模型,区别在于 openpose 和 dw_openpose 提取的是骨架图,densepose 提取则是躯干和四肢的轮廓图,它可以判断复杂的姿势重叠,与 Depth 模型搭配使用效果更好。使用时需要:

下载 densepose_r50_fpn_dl.torchscript 文件,安装到根目录的 extensions\sd-webui-controlnet\annotator\downloads\densepose 文件夹中 下载 controlnetFor_v10.safetensors 模型文件,安装到根目录的 extensions\sd-webui-controlnet\models 文件夹中

Densepose 预处理器有 2 种,densepose (pruple bg & purple torso) 生成紫色背景/紫色主体的预览图,densepose_parula (black bg & blue torso) 生成黑色背景/蓝色主体的预览图,使用时按需要选择,控制模型选择 controlnetFor_v10.safetensors 即可。

Controlnet 最新动态!6款超好用的新模型解析(附下载)

三、Depth_anything

Depth_anything 是一个新的深度估计模型,相比其他深度模型,它处理的预览图更清晰锐利,并且在处理运动画面时有更好的表现,适合用于 Animatediff 等视频插件。使用时需要下载 control_sd15_depth_anything.safetensors 模型文件,安装到根目录的 extensions\sd-webui-controlnet\models 文件夹中,使用时在 Controlnet 中启用 depth_anything 预处理器和模型,按正常流程生成即可。

Controlnet 最新动态!6款超好用的新模型解析(附下载)

四、Depth_hand_refiner

Depth_hand_refiner 是一个专门修复手部畸形的深度模型,预处理器已经内置在最新版本的 controlnet 中了,使用时需要下载 hrnetv2_w64_imagenet_pretrained.pth 模型文件,放到 extensions\sd-webui-controlnet\annotator\downloads\hand_refiner\hr16/ControlNet-HandRefiner-pruned 文件夹中。

生成的图像如果发现手部出现问题,可以将其发送到「图生图-局部重绘」中,先用画笔涂抹手部区域;然后启用 controlnet,上传问题图像,预处理器选 Depth_hand_refiner,模型选 control_v11f1p_sd15_depth,点击生成,就可以将手部问题修复正常了。

Controlnet 最新动态!6款超好用的新模型解析(附下载)

五、Ip-adapter_face_id_plus

官方教程: https://github.com/Mikubill/sd-webui-controlnet/discussions/2442

Ip-adapter_face_id_plus 是 Ip-adapter_face_id 的升级版,可以更好地保持人物面部的一致性,用能实现与 Reactor 相似的人物换脸效果。目前共有 FaceID / FaceID Plus / FaceID Plus v2 / FaceID SDXL 4 款模型,每款都有对应的预处理器、控制模型和 lora 模型,使用时的搭配要正确。

Controlnet 最新动态!6款超好用的新模型解析(附下载)

准备工作:

使用 face_id 首先需要安装 insightface,具体方式见官方教程。 下载 ip-adapter-faceid-plus_sd15.bin 模型,安装到根目录 extensions\sd-webui-controlnet\models 文件夹 下载 ip-adapter-faceid-plus_sd15_lora.safetensors 模型,安装到 models\Lora 文件夹 下载 buffalo_l 文件夹,放到 extensions\sd-webui-controlnet\annotator\downloads\insightface\models 中

Controlnet 最新动态!6款超好用的新模型解析(附下载)

模型安装完成后,启用 controlnet,上传换脸源图像,选择 ip-adapter-faceid-plus 模型和预处理器;填写正向提示词,添加 ip-adapter-faceid-plus_sd15_lora 模型,权重 0.5-0.7;其他生成参数正常设置即可。

Controlnet 最新动态!6款超好用的新模型解析(附下载)

六、Softedge_teed

Softedge_teed 是一款新的软边缘处理模型,提取的线条边缘比其他几款预处理器更清晰详细一些。使用前需要:

下载 7_model.pth 模型,安装到根目录 extensions\sd-webui-controlnet\annotator\downloads\TEED 中 SD1.5 模型直接搭配 control_v11p_sd15_softedge 控制模型使用;SDXL 模型需要下载 controlnet-sd-xl-1.0-softedge-dexined.safetensors 模型,安装到 extensions\sd-webui-controlnet\models 文件夹中。

Controlnet 最新动态!6款超好用的新模型解析(附下载)

七、Controlnet 支持多图像上传

出于 IP-Adapter 模型学习风格的需要,controlnet 插件现在支持同时上传多张图像,只需在上传图像时切换至「Multi-inputs」选项,然后点击 Upload Images 即可。

Controlnet 最新动态!6款超好用的新模型解析(附下载)

相关资讯

保姆级教程!如何用AI快速生成超好看的艺术二维码?

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前为大家出了一期制作风格化二维码的教程,是用 Stable Diffusion WebUI 加上 controlnet 插件在黑白方块中融入插画。不过很快这种二维码就发展出更神奇的样式——黑白色块完全融入到画面中,第一眼根本看不出,但是依旧可以被手机扫描和识别。而达到这样的效果只需要一个新的 controlnet 模型 QR code monster,今天展示一下具体的制作过程。 了解 Stable Diffusion WebUI 和 Controlnet 插件:

设计师狂喜! 用 Stable diffusion WebUI 快速制作中文立体字效

大家好,这里是和你们一起探索 AI 绘画的花生~ 最近在网上看到很多用 Stable Diffusion WebUI 配合 Controlnet 插件制作字效的案例,我也尝试了一下,效果非常不错,能用来快速生成各种高质量且极具创意的中文立体字效,今天就为大家分享相关的操作方法 ~ 上期回顾:一、准备字体图片素材 首先我们可以在 Ps 或者 Ai 中准备字体图片素材,图片需要是白底黑字,尺寸按自己的需求,设置在 512~768 px 之间,字体最好选择免费可商用的,位置也要预先安排好,方便后期排版。我准备的是一张 7

Imagecreator!让你在PS中免费用上Stable Diffusion的神级插件

大家好,这里是和你们一起探索 AI 绘画的花生~ 最近一款 Photoshop 插件 Imagecreator 广受关注,它将 Stable Diffusion 生态中的文生图、图生图、局部重绘等功能引入 Photoshop 中,支持灵活调用多种大模型、Lora 模型和 ControlNet 插件,让我们可以在 Ps 中以使用 Stable Diffusion WebUI 的方式完成 AI 出图 ,今天我们就一起看看如何使用这款 AI 绘画插件~ 了解更多 AI 绘画神器:一、安装 Imagecreator Ima