大家好,这里是和你们一起探索 AI 绘画的花生~
前段时间 Stabilty AI 官方发布了一个开源模型 SDXL Turbo,它和我们之前讲过的 LCM 一样,只需 1-4 步就能完成图象生成,同时图象质量依旧保持的不错。如果将 SDXL Turbo 布署到本地, 我们就可以免费在自己电脑上实现 AI 图象及时生成
今天就为大家推荐几种在本地布署运用 SDXL Turbo 模型的方法,包括 Stable Diffusion WebUI、ComfyUI 和 Fooocus,经测试可以将图象的生成速度提升 6-10 倍;还可以借助屏幕捕获插件实现类似于 Krea AI 的及时绘画效果。
SDXL Turbo 官方线上体验途径: https://clipdrop.co/stable-diffusion-turbo
相关推荐:
一、在 SD WebUI 中布署
Civitai 上有位大神将 LCM 和 SDXL Turbo 融合成了一个新模型,安置到 SD WebUI 中后就能实现图象及时生成。(附件有资材包)
首先我们必要将 SD WebUI 更新到最新版本,然后下载上方的 RealitiesEdgeXLLCM_TURBOXL 大模型,安置到 WebUI 根目录的 models/stable diffusion 文件夹中。文末资材包中还有一个 sdxl vae 文件,安置到根目录的 models/VAE 文件夹中。
进入 WebUI 后,进行如下配置:
大模型:RealitiesEdgeXLLCM_TURBOXL,VAE:sdxl vae
Clip Skip 数值调整为 1;采样步数 4-10 之间;CFG Scale 参数 1-2;尺寸 1024px 左右;采样器运用 Euler A 或者 LCM 都可以。
经测试在 8G 的 4060 上生成一张 1024*1024px 的图象仅需 8 秒,比运用 SDXL 1.0 base 模型的快了 8 倍,并且图象质量依旧保持得很好。
这个大模型还可以配合 SDXL Controlnet 运用。下图是我用 sai_xl_canny 控制模型生成的 1024*1024 px 的图象,生成时间 13 秒,比用 SDXL 1.0 Base 模型的生成速度要快上六七倍。
如果你还没有安置 SDXL Controlnet 模型,可以看我之前写的 《SDXL controlnet 安置运用教程》 。想学习如何运用 Stable Diffusion WebUI 的话,欢迎了解我最新制作的 《零基础AI绘画入门完 全 指南》 ,我会系统讲解 Stable Diffusion WebUI 的基础用法和运用技巧,帮你掌握图生图、文生图功能以及当下最热门的控制插件 Controlnet。
二、在 Fooocus 中布署
Fooocus 之前已经为大家介绍过了,它是一款非常轻便简单的免费 AI 绘画工具,融合了 Midjourney 和 WebUI 的优点,专注于 SDXL 模型,所以 SDXL Turbo 也可以在 Fooocus 中运用。
运用方法:
①下载安置 Stabilty AI 官方发布 sd_xl_turbo_1.0_fp16 模型,安置到根目录的 Fooocus\models\checkpoints 文件夹中。(文末有资材包)
②进入 Fooocus 操作界面,勾选 Advanced 选项,在右侧选项栏进行如下配置:
在 Model 版块内,挑选大模型 sd_xl_turbo_1.0_fp16;refiner 挑选无;
在 Advanced 区域内,将 Guidance Scale 参数配置为 1-4 之间,勾选 Developer Debug Mode,在弹出的选项款内,将 Sampler 修改为 euler_ancestral;将 Forced Overwrite of Sampling Step 参数改为 1;将 Forced Overwrite of Generating Width 和 Height 参数都修改为 512。
配置完成后就可以点击生成了,经测试生成一张图象仅需 2 秒,不过质量也稍微下降了一点。其实就 Fooocus 的一贯风格来说,上面的配置步骤其实算复杂的了。这是因为 SDXL Turbo 刚出来不久,而 Fooocus 的作者目前也正在忙,没有进行相应的兼容配置。我们可以也等待一下 Fooocus 的后期更新,用起来应该会更方便。
零基础 ComfyUI 入门教程:
三、在 ComyfyUI 中布署
在 ComfyUI 中布署 SDXL Turbo 后,生成一张图象只需 0.3 秒,生成的图象会随输入的提示词及时变化,做到真的“及时生成”。具体操作方式如下:
①下载 Stabilty AI 官方发布 sd_xl_turbo_1.0_fp16 模型,安置到 ComfyUI 的模型根目录中(如果是与 WebUI 共用模型,则放到 WebUI 根目录的模型文件夹中),ComfyUI 必要更新到最新版本(文末有资材包)
②进入 ComfyUI 布署及时生成工作流。可以按下方图象手动自动布置,或者直接去文末资材包中下载 flow 节点文件。工作流中的数值配置依旧必要注意:
配置参数也必要注意:采样步数配置为 1 即可;CFG Scale 参数为 1-2 之间;采样器挑选 LCM,图象尺寸目前只能是 512*512,过高会出现画面崩坏(算是目前的一个小缺陷,后期官方应该会修复);
在右侧工具栏中启用 Auto queue 自动生成选项;这样工作流会自动启动,只需输入提示词就能体验到及时生成的效果。
现在还有一个 ComfyUI 屏幕捕获插件 mixlab nodes,支持将电脑的其他界面接入 ComfyUI,与 SDXL Turbo 模型结合,及时引导新图象生成,比如图片、视频、Photoshop、Blender 等,效果类似 Krea AI。具体操作如下:
插件地址: shadowcz007/ c omfy u i-mixlab-node s (github.com)
1)安置好 mixlab nodes 插件和 sd_xl_turbo_1.0_fp16 大模型,ComfyUI 必要更新到最新版本;
2)必要安置涂鸦线条类的 sdxl controlnet 模型 ,比如 t2i-adapter_xl_sketch 或者 sai_xl_sketch_256lora;
3)进入 ComfyUI 后,按下图布署工作流(文末资材包有 flow 节点文件);
4)工作流布署成功后,在电脑中打开你必要接入应用(比如 Ps ),然后点击 ScreenShare 节点中的「Share Screen」选项,从弹出的列表中挑选对应的窗口进行屏幕共享。
5)再点击 ScreenShare 节点中的「Set Area」选项,从目标窗口中框选制定区域,只让画布区域被插件捕获。
6)然后点击 「Live Run」选项,在目标区域区域内绘制内容,每次笔画的改动都会对最终生成的内容造成影响。
四、用 lcm-lora 在 ComfyUI 中实现及时生成
有了屏幕捕获插件 mixlab nodes,我们还可以借助之前推荐的 lcm-lora 插件 ,在 ComfyUI 中实现另一种方式的图象及时生成。相比 SDXL Turbo,lcm lora 的优势在于可以配合大部分的 SD1.5 和 SDXL 大模型运用,生成的图象风格更多样,尺寸也可以自由配置。
了解 lcm lora:
相关工作流如下图,文末资材包中有 flow 节点文件可以直接运用。运行前必要先下载 lcm-lora-sdv1.5 和 lcm-lora-sdxl 这 2 个 lora 文件安置到根目录中,屏幕捕获的操作方式和前面的一样,运用时必要注意的点是:
如果挑选的是 sd1.5 的大模型,那么 lora 模型必要挑选 lcm-lora-sdv1.5,controlnet 模型必要挑选也是 sd1.5 的;
如果挑选的是 sdxl 的大模型,那么 lora 模型必要挑选 lcm-lora-sdxl,controlnet 模型必要挑选也是 sdxl 的,另外图象的尺寸也不要低于 768*768px。
配置成功后,在目标区域内绘制草稿,即可实现及时绘图。我测试后发现效果的确不错,相当于我们自己在电脑上布署了一个 Krea AI,对做概念设计来说非常方便。