IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

大家好,这里是和你们一起探索 AI 的花生~ IP Adapter 是 SD 生态中一个非常强大的作风迁徙插件,可以将一张图象的作风复制到新生成的图象中,有效提升我们的出图效率,目前在设计领域有广泛应用。 相关推荐:最近,ComfyUI IP Adapter Plus 的作者 @cubiq 重写了插件代码,对整体进行了升级革新。新插件在节点搭建和模型上读取上比之前更简单方便,并且支持的性能也更丰富了。而最让人惊喜的一点是 IP Adapter Plus 支持分别进行作风迁徙、构图迁徙和二者的联合应用,可以让我们更准

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

大家好,这里是和你们一起探索 AI 的花生~

IP Adapter 是 SD 生态中一个非常强大的作风迁徙插件,可以将一张图象的作风复制到新生成的图象中,有效提升我们的出图效率,目前在设计领域有广泛应用。

相关推荐:

最近,ComfyUI IP Adapter Plus 的作者 @cubiq 重写了插件代码,对整体进行了升级革新。新插件在节点搭建和模型上读取上比之前更简单方便,并且支持的性能也更丰富了。而最让人惊喜的一点是 IP Adapter Plus 支持分别进行作风迁徙、构图迁徙和二者的联合应用,可以让我们更准确地控制出图效果。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

通过新版 IP Adapter Plus 插件分别学习梵高的作风和蒙娜丽莎的构图

但此次革新后,我们之前所有包含 IP Adapter Plus 的职责流也都无法应用了,必要用新节点重新搭建。今天就为大家详细先容一下新版插件的安置应用方法。

一、插件安置

Github 主页: https://github.com/cubiq/ComfyUI_IPAdapter_plus (内有插件革新先容)

在安置前,我们必要将 Comfyui 革新到最新版本;如果你之前安置过 IP Adapter Plus 插件,则必要先在 custom_nodes 内删除之前的文献夹。
插件可以通过 Manager 安置,但是更推荐在终端通过 git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git 命令来安置,可以获取最新的革新内容。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

二、安置基础模型

Github 主页中对必要安置的模型有详细描述,下载后按要求安置到指定路径即可,必要注意的内容有:

安置在 /ComfyUI/models/clip_vision 的两个文献下载后必要重命名,再放到对应的文献夹内;
如果没有 /ComfyUI/models/ipadapter 这个文献夹,可以自己手动新建一个;
models/ipadapter 内的模型并不必要全部下载,目前主要应用的有 ip-adapter-plus_sd15.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors;
文末网盘链接内有对应的模型资源,可以直接下载应用。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

三、安置 FaceID 模型

如果你想通过 IP Adapter Plus 保持人物脸部特征一致,则必要再下载 FaceID 模型以及对应的 Lora 模型,并安置到指定路径。此外还必要部署 insightface 环境,具体部署方法可以看官方给的链接。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

四、导入职责流

以上安置步骤完成后,记得重启 ComfyUI。在 IP Adapter Plus 根目录内有一个 example 文献夹,里面有官方提供的 13 个职责流,包含基础、进阶、FaceID、负面图象、分块等多种性能,大家可以直接导入 ComfyUI 中应用体验。官方 Github 主页中也有附上视频教学链接,里面对新性能有详细的先容。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

五、作风/构图迁徙性能

作风迁徙是 IP Adapter 最重要的性能,现在又新增了构图迁徙性能,让它能发挥的作用更大了。下面就结合职责流文献,简单先容一下它们的用法(职责流文献在文末云盘链接内)。

① 作风迁徙(Style transfer)

应用作风迁徙性能,必要在 IP Adapter Advanced 节点内将权重类型选为 Style transfer,目前仅支持 SDXL 模型。它可以将一张图象的作风、氛围完美迁徙到另一个图象上,而不会影响图象的具体内容。应用时可以多调节 weight 参数,即使是 0.1 的调整也会带来很不一样的效果;也可以尝试不同的 embeds_scaling 缩放值。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

② 构图迁徙(Composition)

如果只想提取一张图象的构图,将 IP Adapter Advanced 节点内的 weight_type 改为 composition 就可以了。它可以学习一张图象中人物的姿势动作,或者画面的主体构图;如下图,新生成的赛博朋克房间像在镜头角度、窗户位置、家具摆放位置等方面与原图高度相似。这种方式与 controlnet 的线条约束相比会更灵活自由,在整体效果上也会更自然合理。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

③ 作风&构图混合迁徙

此性能中必要用到一个新的节点 IPAdapterStyleComposition,它支持同时导入作风参考图象和构图参考图象,实现分别控制。应用时同样可以多调整二者的权重,获得更准确的效果。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制作风与构图

那么以上就是本期为大家先容的 ComfyUI 插件 IP Adapter Plus 最新版本的相关内容,文内提到的模型及职责流文献都在文末的云盘链接内,有必要的小伙伴可以记得下载~

ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。

给TA打赏
共{{data.count}}人
人已打赏
应用

7B超越百亿级,北大开源aiXcoder-7B最强代码大模型,企业布署最佳选择

2024-4-10 15:05:00

应用

史上首位阿贝尔奖、图灵奖双得主!2023图灵奖授予随机性大佬Avi Wigderson

2024-4-11 11:35:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索