SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前为大家介绍过 AI 绘画工具 Krea,它可以根据手绘的草图实时生成完整的画面,可以让我们更精准地控制图像效果,对电商、产品、游戏概念等设计领域来说非常有帮助。之前为大家推荐过一种在 ComfyUI 中免费实现 AI 实时绘画的方式,今天就再为大家推荐另一种在 Stable Diffusion WebUI 中实现实时绘画的方法。一、插件简介 SD WebUI 的实时绘画功能需要借助一个插件实现,这个插件是上周由 B 站 AI 绘画博主@朱尼酱推出,支持文生图、图

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

大家好,这里是和你们一起探索 AI 绘画的花生~

之前为大家介绍过 AI 绘画工具 Krea,它可以根据手绘的草图实时生成完整的画面,可以让我们更精准地控制图像效果,对电商、产品、游戏概念等设计领域来说非常有帮助。之前为大家推荐过一种在 ComfyUI 中免费实现 AI 实时绘画的方式,今天就再为大家推荐另一种在 Stable Diffusion WebUI 中实现实时绘画的方法。

一、插件简介

SD WebUI 的实时绘画功能需要借助一个插件实现,这个插件是上周由 B 站 AI 绘画博主@朱尼酱推出,支持文生图、图生图和桌面应用捕捉,操作界面也非常便捷好用,安装后即可借助 WebUI 的现有资源,在本地免费实现多功能 AI 实时绘画。

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

二、安装方式

由于这款实时绘画插件是基于 SD WebUI 的,所以使用前大家需要先安装并掌握 SD WebUI 的基础用法,没有掌握的小伙伴看我之前写的介绍文章,或者了解我最新制作的《零基础 AI 绘画入门指南》,系统学习 SD WebUI 的用法。

这里推荐使用秋葉大佬的一键整合包,先启动软件,在启动器界面找到「高级选项-启用 API」,将其转为开启模式,然后将「监听设置」下拉框里的「监听地址」改为 0.0.0.0,

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

在当前页面继续下拉,找到底部的 「CORS 授权管理」选项,打开后在里面输入一个 * 号并按 Enter 保存,然后关闭弹窗,此时的 API 的相关设置就完成了。回到启动器主页,点击「一键启动」打开 WebUI 网页界面,此时网址会显示为 localhost:7860,表明我们的 API 设置成功了。

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

然后下载文末网盘链接的资源包,先将里面的 ACC_SD15.safetensors 放置到 stable diffusion 根目录的 models/Lora 文件夹内,这是一个 sd1.5 的 Lcm Lora 模型,可以提升图像的生成速度。然后解压 Jizhi_AI 压缩包(解压后可以更换一下文件的路径,让其不要有中文),找到其中的 Jizhi_AI.exe 程序文件并双击启动,就能看到实时绘画的界面了。

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

二、使用简介

整个实时绘画的界面非常直观好用,下面为大家简单介绍一下它的用法。

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

1. 文生图功能

①首先选好大模型(VAE 模型看大模型是否需要),设定好画面尺寸,然后在提示词中输入描述画面的内容,比如 “masterpiece, best quality, a red cup, 3D pixar, bright light”,反向提示词填写常用的即可。

②选取 lora 模型。点击文本框右上角的 “添加 lora” 选项,从中选取我们之前安装好的 ACC_SD15.safetensors,调节滑块设置具体参数,再点击底部的 “确定” 按钮将其添加到正向提示词中。也可以再添加其他已安装的 lora 模型。

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

③然后启用 controlnet 模型,模型的类型按你输入的内容选择。如果是直接用画笔手绘,可以选择 Scribble/ Sketch,这样对线稿的精度要求低;如果是已有高精度草图或者图像,可以选择 lineart 或者 depth。

④设置完成后即可在画板中进行创作了,每次画板内容的改动都会实时显示在右侧。画笔可以修改颜色及大小;支持橡皮修改和撤销操作;重绘幅度可以调整结果图与原图的相似程度;如果对单次生成的图像不满意,可以点击底部的刷新小按钮,再次生成图像。

⑤除了手绘草图之外,还可以插入图像,与手绘草图结合来引导新图像的生成。

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

2. 屏幕捕捉功能

实时绘画插件中最实用的应该还是屏幕捕捉功能,我们可以将日常使用的 Ps、Ai、Blender、C4D 或者其他软件的操作界面接入其中,这样操作起来比其自带的画板更方便好用,功能也更多。具体操作方法如下:

①先打开你需要接入的软件或者网页;

②设置好实时绘画的各项基础生成参数,然后选择界面顶部的 「屏幕截图」功能,此时会弹出一个界面,包含各个目前正在运行的软件,从中选择你需要的。

③选中软件后,会有一个红线框用于设置需要截取的画面,一般都会将区域局限在画布之内,然后右下角的 “裁剪” 选项确定范围。

我在这里接入的是之前为大家推荐过的 AI 3D 工具 Genie。接入后,点击实时绘画界面右上角的 「全屏显示」宣讲,将整个窗口拖动悬浮在网页旁边,此时随意调整网页中 3D 模型的方向或角度,就能在窗口中看到实时渲染的精细图像(如果觉得渲染时间太长,可适当调低迭代步数。但生成的图片质量也会有所下降)。

相关资讯

速度更快!新版 SD WebUI Forge 保姆级安装教程

不知道平时经常使用 SD WebUI 的小伙伴发现没有,随着安装插件和模型越来越多,WebUI 时不时会出现卡顿或爆显存的情况,尤其在低显存的硬件上更加明显,只能不停的重启来解决。 估计是 WebUI 的作者张吕敏博士自己也发现了这个问题,于是升级版的 SD WebUI Forge 它来了!操作界面虽然和原来的一模一样,但运行效率和图像生成速度都有了不错的提升,下面快跟着我来看看吧~ 一、Forge 基础介绍 首先关于为什么取 Forge 这个名字:单词 Forge 有「锻造」的意思,根据作者解释,该词的灵感是来源

玩转新版 ComfyUI 的 6 个小技巧,你用过几个?

大家好我是花生~ 前几天 ComfyUI 发布了新的 0.2.0 版本,对 UI 做了大量优化,使用起来比之前方便很多,今天就为大家分享一些超棒的新版界面使用技巧,一起来看看吧~ 相关推荐:一、ComfyUI 新版本特性 首先是 ComfyUI 终于支持双击修改节点名称、以及通过 Ctrl G 对多个节点进行编组了,这样我们再也不需要一个个地点击右键去操作了,真的方便很多。然后是图像生成队列也做了优化。无论是什么比例的图像都会完整显示在 1:1 的方框内,这样用户既能预览全图内容,队列样式也更统一美观;如果一个

让AI出图速度提高10倍!用 SDXL Turbo 实现快速出图!

大家好,这里是和你们一起探索 AI 绘画的花生~ 前段时间 Stabilty AI 官方发布了一个开源模型 SDXL Turbo,它和我们之前讲过的 LCM 一样,只需 1-4 步就能完成图像生成,同时图像质量依旧保持的不错。如果将 SDXL Turbo 部署到本地, 我们就可以免费在自己电脑上实现 AI 图像实时生成 今天就为大家推荐几种在本地部署使用 SDXL Turbo 模型的方法,包括 Stable Diffusion WebUI、ComfyUI 和 Fooocus,经测试可以将图像的生成速度提升 6-10