Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

这节课我们继续去学习 Controlnet 预处理器中的面部与姿态预处理器,这也是我们在使用 Controlnet 时最常用的一种控制方式之一,使用姿态能让我们生成的图像与输入的面部与姿态数据保持一致性。一、DW 姿态预处理器①介绍:从图像中提取手部、身体、面部姿态信息并生成骨架图; ②检测手部、身体、面部:这不用说了吧,关掉就不会生成此部位骨架图,开启就会生成此部位骨架图; ③BBox 检测:边界框检测器,用于检测图像中的对象并标识其位置(比如用来框选空姐在图中的位置); ④姿态预估:姿态预估模型,通过此模型提取

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

这节课我们继续去学习 Controlnet 预处理器中的面部与姿态预处理器,这也是我们在使用 Controlnet 时最常用的一种控制方式之一,使用姿态能让我们生成的图像与输入的面部与姿态数据保持一致性。

一、DW 姿态预处理器

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

①介绍:从图像中提取手部、身体、面部姿态信息并生成骨架图;

②检测手部、身体、面部:这不用说了吧,关掉就不会生成此部位骨架图,开启就会生成此部位骨架图;

③BBox 检测:边界框检测器,用于检测图像中的对象并标识其位置(比如用来框选空姐在图中的位置);

④姿态预估:姿态预估模型,通过此模型提取人/动物的姿态特征,也是我们这个预处理器最重要的算法;

⑤姿态关键点:用来保存姿态关键点成 json 文件和给姿态关键点面部上色的,左键点住向外拖就能看到“保存姿态关键点”和“姿态关键点面部上色”。

⑥对应模型:

SD1.5 模型:control_v11p_sd15_openpose、t2iadapter_openpose_sd14v1 SDXL 模型:暂无

⑦效果预览:

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

二、Openpose 姿态预处理器

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

①介绍:从图像中提取手部、身体、面部姿态信息并生成骨架图,效果不如 DW 姿态预处理器;

②检测手部、身体、面部:同 DW 姿态预处理器;

③对应模型:

SD1.5 模型:control_v11p_sd15_openpose、t2iadapter_openpose_sd14v1 SDXL 模型:暂无

④效果预览:

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

三、Dense 姿态预处理器

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

①介绍:通过不同颜色来区分人体部位,达到控制姿态的效果。实际上 Dense 应该归类为语义分割(我们后面会讲),从控制效果上来说不如我们说过的 DW 姿态 灵活;

②模型:有两个模型 r50 和 r101,我们用 r50 就可以,这个检测的效果最好;

③色彩映射:色彩映射是一种将数据值映射到颜色的过程,通过色彩映射,可以使用不同的颜色来表示数据的不同数值。这些颜色来自于预定义的调色板,我们这里选择的就相当于另一个调色板(色彩映射不改变图像的细节或数据本身,只是改变了用来表示数据的颜色);

④对应模型:

SD1.5 模型:controlnetFor_v10 SDXL 模型:暂无

⑤效果预览:

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

⑥说个题外知识:

如果有同学们了解过字节开源的 Magic Animate 可能会对处理后的图像眼熟。没错,字节的这个项目就用到了 DensePose,我们给一个图片和 DensePose 就能得到一个视频(如下);

青龙大佬做了这个项目的整合包,也有 ComfyUI 作者写了这个项目的插件,让我们可以在 ComfyUI 上使用,也有个部署在 Hugging Face 上的可以免费使用。感兴趣的可以研究一下,我就不多介绍了(建议使用青龙大佬的整合包,更方便一些)。

青龙大佬的整合包: https://www.bilibili.com/video/BV13b4y1j71m/?  ComfyUI-MagicAnimate 插件: https://github.com/thecooltechguy/ComfyUI-MagicAnimate Hugging Face 体验地址: https://huggingface.co/spaces/zcxu-eric/magicanimate

注意:显存至少 12GB;

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

四、MediaPipe 面部网格预处理器

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

①介绍:通过对图像人脸识别实现面部稳定,比如我们要生成一个有特定表情的人物,但是关键词并不能详细的描述出来,我们就可以找一张这个表情的图像进行识别。现在用的比较少,DW 姿态预处理器完全可以代替;

②最大面部数量:指定最大检测的面部个数(最多识别 50 个);

③最小置信度:指定判定为面部的最小阈值(数值不是越大越好,识别效果,取决于加载图像的质量);

④对应模型:

SD1.5 模型:control_v2p_sd15_mediapipe_face SDXL 模型:暂无

⑤效果预览:

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

五、AnimaIPose 动物姿态预处理器

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 面部与姿态预处理器

①介绍:从图像中提取动物骨骼姿态;

②BBox 检测:边界框检测器,用于检测图像中的对象并标识其位置(比如用来框选萨摩耶在图中的位置)

③姿态预估:姿态预估模型,通过此模型提取人/动物的姿态特征,也是我们这个预处理器最重要的算法;

④对应模型:

SD1.5 模型:control_sd15_animal_openpose_fp16 SDXL 模型:暂无

⑤效果预览:

相关资讯

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前为大家介绍过 AI 绘画工具 Krea,它可以根据手绘的草图实时生成完整的画面,可以让我们更精准地控制图像效果,对电商、产品、游戏概念等设计领域来说非常有帮助。之前为大家推荐过一种在 ComfyUI 中免费实现 AI 实时绘画的方式,今天就再为大家推荐另一种在 Stable Diffusion WebUI 中实现实时绘画的方法。一、插件简介 SD WebUI 的实时绘画功能需要借助一个插件实现,这个插件是上周由 B 站 AI 绘画博主@朱尼酱推出,支持文生图、图

保姆级教程!如何用AI快速生成超好看的艺术二维码?

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前为大家出了一期制作风格化二维码的教程,是用 Stable Diffusion WebUI 加上 controlnet 插件在黑白方块中融入插画。不过很快这种二维码就发展出更神奇的样式——黑白色块完全融入到画面中,第一眼根本看不出,但是依旧可以被手机扫描和识别。而达到这样的效果只需要一个新的 controlnet 模型 QR code monster,今天展示一下具体的制作过程。 了解 Stable Diffusion WebUI 和 Controlnet 插件:

设计师狂喜! 用 Stable diffusion WebUI 快速制作中文立体字效

大家好,这里是和你们一起探索 AI 绘画的花生~ 最近在网上看到很多用 Stable Diffusion WebUI 配合 Controlnet 插件制作字效的案例,我也尝试了一下,效果非常不错,能用来快速生成各种高质量且极具创意的中文立体字效,今天就为大家分享相关的操作方法 ~ 上期回顾:一、准备字体图片素材 首先我们可以在 Ps 或者 Ai 中准备字体图片素材,图片需要是白底黑字,尺寸按自己的需求,设置在 512~768 px 之间,字体最好选择免费可商用的,位置也要预先安排好,方便后期排版。我准备的是一张 7