大家好,这里是和你们一起探索 AI 的花生~
最新 ControlNet 有两款新模型无比热门,一个是用于提取图象线稿的预处理模型 Anyline,一个是 SDXL 线条类控制模型 Mistoline。它们不仅单独的功能强于目前的 canny、lineart、softedge 等模型,组合在一起更是可以快速准确地处理超复杂的图象,今天就为大家详细介绍一下它们的特点和用法。
相关推荐:
一、Anyline
Anyline 是一款新的线条类预处理模型,可以从大部分图象中快速提取高精度的线稿图。与其他常用的线条预处理器相比,Anyline 在轮廓精度、对象细节和字体识别(尤其是在大型场景中)方面具有显著优势。在大多数场景中,它在减少噪点方面也表现更好,能实现更清晰的图象处理。
下图是 Anyline 与其他预处理模型的效果对比,可以看到 Anyline 可以提取无比微小的细节,线条也无比完整清晰,即使是很小的文字也可以复现,相比之下 canny 和 lineart 在细节上多少都会有一些丢失。因此 Anyline 无比适合用来处理场景复杂或者必要精准控制细节的图象,比如文字、纹理材质、机械细节等。
Anyline 目前已经可以在 SD WebUI 和 ComfyUI 中应用了。SD WebUI 只必要将 controlnet 更新到最新版本,就能在预处理器列表中看到 softedge_anyline 选项了。初次应用会自动从网上下载一个 MTEED.pth 文件到 extensions\sd-webui-controlnet\annotator\downloads\TEED 文件夹中,如果自动下载失败可以手动装置(文末云盘有模型资源)
如果是 ComfyUI,必要先装置一个名为 comfyui-anyline 的插件,可以从 manager 中装置,也可以通过 github 克隆。装置完成后,再进入插件文件夹中,打开终端执行 pip install -r requirements.txt 命令。然后重启 comfyui,搜索 “anyline” 即可找到对应节点。
二、MistoLine
MistoLine 是一款强大的 SDXL ControlNet 控制模型,它可以根据用户提供的各种类型的线条图生成高质量的图象(短边大于 1024px),包括手绘草图、不同的 ControlNet 线条类预处理图和 3D 模型线框图等。
MistoLine 生成的图象在稳定性、细节还原上比现有的线条类 CN 模型表现都好。如果和 Anyline 配合应用,加上 SDXL 模型,可以很轻松地生成 1024*1024px 以上的高清图象,用来处理场景复杂、层次丰富、纹理丰富的图象效果无比好,因此目前最推荐的就是 Anyline 和 MistoLine 的搭配应用。
MistoLine 同样可以在 SD WebUI 和 ComfyUI 中应用, 应用时前必要下载 mistoLine_rank256.safetensors 模型(文末有资源包),装置到 extensions\sd-webui-controlnet\models 或者 comfyui\models\controlnet 中,然后重启应用,再按正常流程选用模型即可。应用时必要注意选择 SDXL 的 checkpoints 大模型。
文末的资源包内有还有搭建好的 Anyline+Mistoline ComfyUI 工作流,用来处理大幅的、场景复杂、必要清晰细节的图象无比方便。
那么以上就是本期为大家推荐的 Controlnet 线条类新模型 Anyline 和 Mistoline。喜欢的话记得点赞、收藏、评论三连支持一波,我会更有动力为大家推荐更多 AI 干货内容。相关模型、工作流文件都在下方的云盘链接内,记得下载~
如果你也想学习应用 Midjourney 和 Stable Diffusion 这两款 AI 绘画工具,可以了解一下我最新制作的课程《零基础 AI 绘画入门》已经上线,课程包含对 Midjourney 及 Stable Diffusion WebUI 的系统入门教学,并提供配套资源、各类实用工具和提示词库,能帮助初学者快速掌握这 2 款目前最热门的 AI 工具,感兴趣的小伙伴可以戳的链接了解详情:夏花生的《零基础 AI 绘画录播课》