大家好,这里是和你们一起探索 AI 的花生~
IP Adapter 是 SD 生态中一个非常强大的作风迁徙插件,可以将一张图象的作风复制到新生成的图象中,有效提升我们的出图效率,目前在设计领域有广泛应用。
相关推荐:
最近,ComfyUI IP Adapter Plus 的作者 @cubiq 重写了插件代码,对整体进行了升级革新。新插件在节点搭建和模型上读取上比之前更简单方便,并且支持的性能也更丰富了。而最让人惊喜的一点是 IP Adapter Plus 支持分别进行作风迁徙、构图迁徙和二者的联合应用,可以让我们更准确地控制出图效果。
通过新版 IP Adapter Plus 插件分别学习梵高的作风和蒙娜丽莎的构图
但此次革新后,我们之前所有包含 IP Adapter Plus 的职责流也都无法应用了,必要用新节点重新搭建。今天就为大家详细先容一下新版插件的安置应用方法。
一、插件安置
Github 主页: https://github.com/cubiq/ComfyUI_IPAdapter_plus (内有插件革新先容)
在安置前,我们必要将 Comfyui 革新到最新版本;如果你之前安置过 IP Adapter Plus 插件,则必要先在 custom_nodes 内删除之前的文献夹。
插件可以通过 Manager 安置,但是更推荐在终端通过 git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git 命令来安置,可以获取最新的革新内容。
二、安置基础模型
Github 主页中对必要安置的模型有详细描述,下载后按要求安置到指定路径即可,必要注意的内容有:
安置在 /ComfyUI/models/clip_vision 的两个文献下载后必要重命名,再放到对应的文献夹内;
如果没有 /ComfyUI/models/ipadapter 这个文献夹,可以自己手动新建一个;
models/ipadapter 内的模型并不必要全部下载,目前主要应用的有 ip-adapter-plus_sd15.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors;
文末网盘链接内有对应的模型资源,可以直接下载应用。
三、安置 FaceID 模型
如果你想通过 IP Adapter Plus 保持人物脸部特征一致,则必要再下载 FaceID 模型以及对应的 Lora 模型,并安置到指定路径。此外还必要部署 insightface 环境,具体部署方法可以看官方给的链接。
四、导入职责流
以上安置步骤完成后,记得重启 ComfyUI。在 IP Adapter Plus 根目录内有一个 example 文献夹,里面有官方提供的 13 个职责流,包含基础、进阶、FaceID、负面图象、分块等多种性能,大家可以直接导入 ComfyUI 中应用体验。官方 Github 主页中也有附上视频教学链接,里面对新性能有详细的先容。
五、作风/构图迁徙性能
作风迁徙是 IP Adapter 最重要的性能,现在又新增了构图迁徙性能,让它能发挥的作用更大了。下面就结合职责流文献,简单先容一下它们的用法(职责流文献在文末云盘链接内)。
① 作风迁徙(Style transfer)
应用作风迁徙性能,必要在 IP Adapter Advanced 节点内将权重类型选为 Style transfer,目前仅支持 SDXL 模型。它可以将一张图象的作风、氛围完美迁徙到另一个图象上,而不会影响图象的具体内容。应用时可以多调节 weight 参数,即使是 0.1 的调整也会带来很不一样的效果;也可以尝试不同的 embeds_scaling 缩放值。
② 构图迁徙(Composition)
如果只想提取一张图象的构图,将 IP Adapter Advanced 节点内的 weight_type 改为 composition 就可以了。它可以学习一张图象中人物的姿势动作,或者画面的主体构图;如下图,新生成的赛博朋克房间像在镜头角度、窗户位置、家具摆放位置等方面与原图高度相似。这种方式与 controlnet 的线条约束相比会更灵活自由,在整体效果上也会更自然合理。
③ 作风&构图混合迁徙
此性能中必要用到一个新的节点 IPAdapterStyleComposition,它支持同时导入作风参考图象和构图参考图象,实现分别控制。应用时同样可以多调整二者的权重,获得更准确的效果。
那么以上就是本期为大家先容的 ComfyUI 插件 IP Adapter Plus 最新版本的相关内容,文内提到的模型及职责流文献都在文末的云盘链接内,有必要的小伙伴可以记得下载~
ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。