Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

这节课我们继续去学习 Controlnet 预处理器中的脸部与姿势预处理器,这也是我们在应用 Controlnet 时最常用的一种控制方式之一,应用姿势能让我们生成的图象与输入的脸部与姿势数据保持一致性。一、DW 姿势预处理器①先容:从图象中提炼手部、身体、脸部姿势信息并生成骨架图; ②检测手部、身体、脸部:这不用说了吧,关掉就不会生成此部位骨架图,开启就会生成此部位骨架图; ③BBox 检测:边界框检测器,用于检测图象中的对象并标识其位置(比如用来框选空姐在图中的位置); ④姿势预估:姿势预估模型,通过此模型提炼

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

这节课我们继续去学习 Controlnet 预处理器中的脸部与姿势预处理器,这也是我们在应用 Controlnet 时最常用的一种控制方式之一,应用姿势能让我们生成的图象与输入的脸部与姿势数据保持一致性。

一、DW 姿势预处理器

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

①先容:从图象中提炼手部、身体、脸部姿势信息并生成骨架图;

②检测手部、身体、脸部:这不用说了吧,关掉就不会生成此部位骨架图,开启就会生成此部位骨架图;

③BBox 检测:边界框检测器,用于检测图象中的对象并标识其位置(比如用来框选空姐在图中的位置);

④姿势预估:姿势预估模型,通过此模型提炼人/动物的姿势特征,也是我们这个预处理器最重要的算法;

⑤姿势关键点:用来保存姿势关键点成 json 文件和给姿势关键点脸部上色的,左键点住向外拖就能看到“保存姿势关键点”和“姿势关键点脸部上色”。

⑥对应模型:

SD1.5 模型:control_v11p_sd15_openpose、t2iadapter_openpose_sd14v1
SDXL 模型:暂无

⑦成果预览:

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

二、Openpose 姿势预处理器

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

①先容:从图象中提炼手部、身体、脸部姿势信息并生成骨架图,成果不如 DW 姿势预处理器;

②检测手部、身体、脸部:同 DW 姿势预处理器;

③对应模型:

SD1.5 模型:control_v11p_sd15_openpose、t2iadapter_openpose_sd14v1
SDXL 模型:暂无

④成果预览:

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

三、Dense 姿势预处理器

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

①先容:通过不同色彩来区分人体部位,达到控制姿势的成果。实际上 Dense 应该归类为语义分割(我们后面会讲),从控制成果上来说不如我们说过的 DW 姿势 灵活;

②模型:有两个模型 r50 和 r101,我们用 r50 就可以,这个检测的成果最好;

③色彩映照:色彩映照是一种将数据值映照到色彩的过程,通过色彩映照,可以应用不同的色彩来表示数据的不同数值。这些色彩来自于预定义的调色板,我们这里选择的就相当于另一个调色板(色彩映照不改变图象的细节或数据本身,只是改变了用来表示数据的色彩);

④对应模型:

SD1.5 模型:controlnetFor_v10
SDXL 模型:暂无

⑤成果预览:

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

⑥说个题外知识:

如果有同学们了解过字节开源的 Magic Animate 可能会对处理后的图象眼熟。没错,字节的这个项目就用到了 DensePose,我们给一个图片和 DensePose 就能得到一个视频(如下);

青龙大佬做了这个项目的整合包,也有 ComfyUI 作者写了这个项目的插件,让我们可以在 ComfyUI 上应用,也有个部署在 Hugging Face 上的可以免费应用。感兴趣的可以研究一下,我就不多先容了(建议应用青龙大佬的整合包,更方便一些)。

青龙大佬的整合包: https://www.bilibili.com/video/BV13b4y1j71m/?
 ComfyUI-MagicAnimate 插件: https://github.com/thecooltechguy/ComfyUI-MagicAnimate
Hugging Face 体验地址: https://huggingface.co/spaces/zcxu-eric/magicanimate

注意:显存至少 12GB;

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

四、MediaPipe 脸部网格预处理器

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

①先容:通过对图象人脸识别实现脸部稳定,比如我们要生成一个有特定表情的人物,但是关键词并不能详细的描述出来,我们就可以找一张这个表情的图象进行识别。现在用的比较少,DW 姿势预处理器完全可以代替;

②最大脸部数量:指定最大检测的脸部个数(最多识别 50 个);

③最小置信度:指定判定为脸部的最小阈值(数值不是越大越好,识别成果,取决于加载图象的质量);

④对应模型:

SD1.5 模型:control_v2p_sd15_mediapipe_face
SDXL 模型:暂无

⑤成果预览:

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

五、AnimaIPose 动物姿势预处理器

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

①先容:从图象中提炼动物骨骼姿势;

②BBox 检测:边界框检测器,用于检测图象中的对象并标识其位置(比如用来框选萨摩耶在图中的位置)

③姿势预估:姿势预估模型,通过此模型提炼人/动物的姿势特征,也是我们这个预处理器最重要的算法;

④对应模型:

SD1.5 模型:control_sd15_animal_openpose_fp16
SDXL 模型:暂无

⑤成果预览:

给TA打赏
共{{data.count}}人
人已打赏
应用

「翻新落地,生态共赢」,2024澜舟科技大模型手艺和产物发布会圆满举办

2024-3-18 22:11:00

应用

万字干货!Sora 如何如何转化为实际生产力?

2024-3-19 8:41:28

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索