Stable Diffusion WebUI 出图颜色发灰?用好VAE立马解决~

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前已经给大家推荐过不少 Stable Diffusion WebUI 的大模型,今天为大家介绍一下 WebUI 中“外挂VAE”的相关内容,可以解决我们在用大模型出图过程中出现的图像颜色发灰、发白的问题,一起来看看吧 ~ 上期回顾:1)VAE 简介 VAE 全称 Variational Auto Encoder (变分自编码器),是 stable diffusion 整个模型算法的组成部分之一,位于运作流程的末端,作用是让 stable diffusion 生成的

Stable Diffusion WebUI 出图颜色发灰?用好VAE立马解决~

大家好,这里是和你们一起探索 AI 绘画的花生~

之前已经给大家推荐过不少 Stable Diffusion WebUI 的大模型,今天为大家介绍一下 WebUI 中“外挂VAE”的相关内容,可以解决我们在用大模型出图过程中出现的图像颜色发灰、发白的问题,一起来看看吧 ~

上期回顾:

1)VAE 简介

VAE 全称 Variational Auto Encoder (变分自编码器),是 stable diffusion 整个模型算法的组成部分之一,位于运作流程的末端,作用是让 stable diffusion 生成的图像颜色更鲜艳、细节更锐利;同时也能在一定程度上改善局部细节的生成质量,如手部、服装、脸部等,我们可以简单地把它理解为一种“滤镜”。

Stable Diffusion WebUI 出图颜色发灰?用好VAE立马解决~

2)如何判断是否需要使用 VAE 模型

VAE 模型不能单独使用,要配合大模型一起使用。但不是所有大模型都需要使用 VAE, 因为一些稳定的大模型本身就自带 VAE ,可以直接生成色彩正常的图像,再使用 VAE 可能会起到反作用。而有一些大模型在融合训练的时候 VAE 被损坏了,导致生成的图像色彩不佳,就需要搭配外挂 VAE。我们可以通过以下 2 种方式判断一款大模型是否需要配合 VAE 使用:

① 根据图像生成效果判断 判断是否需要使用 VAE 最直接的方式就是看生成图像的效果,如果颜色发灰、发白,与你看到的参考图像效果有明显差异,那么就需要启用 VAE。

② 看大模型的发布提示 一些大模型在发布的时候,如果需要使用外挂 VAE,会在发布声明里说明。如下图的Aniflatmix 大模型,在模型介绍页面就明确有提到需要配合 VAE模型使用。我们可以按提示在网上搜索相关资源 ,然后下载使用就可以了。

Stable Diffusion WebUI 出图颜色发灰?用好VAE立马解决~

3)VAE 模型下载

C 站可用 VAE 模型:https://civitai.com/models

VAE 模型和其他 AI 绘画模型一样,资源主要集中在 Civitai 和 Huggingface 两个平台上。我们可以在 Civitai 上通过筛选查看所有可用 VAE 资源,或者直接在互联网上搜索你需要的 VAE 的名称寻找资源。

Stable Diffusion WebUI 出图颜色发灰?用好VAE立马解决~

这里也为大家推荐几款常用的 VAE 模型,可以解决大部分的图像色彩发灰问题。

① 通用 VAE

ema-560000: stabilityai/sd-vae-ft-ema-original at main (文末有资源包) mse-840000: stabilityai/sd-vae-ft-mse-original at main (文末有资源包)

Stability AI 官方推出过 2 款 VAE ,vae-ft-ema-560000-ema-pruned 和 vae-ft-mse-840000-ema-pruned,它们适用于各种风格的大模型,能有效提升画面色彩的鲜艳程度。从使用经验来说,ema-560000 会明显地修改画面的细节,mse-840000 则没有那么明显。

Stable Diffusion WebUI 出图颜色发灰?用好VAE立马解决~

② 风格化 VAE

ClearVAE:ClearVAE - v2.3 | Stable Diffusion VAE | Civitai (文末有资源包) kl-f8-anime2:https://civitai.com/models/23906 (文末有资源包) Anything:https://civitai.com/models/110630/anything-model-vae-v40 (文末有资源包)

有些 VAE 则只适合特定风格的大模型,大家在下载的时候可以仔细阅读 VAE 制作者的使用说明。比如 ClearVAE、kl-f8-anime2、anything 等,都是适合动漫风大模型的 VAE。

不同的 VAE 下,图像生成效果会略有差异,大家可以根据实际情况对比选择:

Stable Diffusion WebUI 出图颜色发灰?用好VAE立马解决~

4)VAE 的使用与管理

VAE 模型下载后,需要放进根目录的 models\VAE 文件夹内;如果要卸载某个VAE,也是在VAE 文件夹中删除对应的文件就可以了。

Stable Diffusion WebUI 出图颜色发灰?用好VAE立马解决~

在 WebUI 中,选择好大模型后,在“外挂 VAE ” 的下拉栏中选择对应的模型就可以了;不需要 VAE 的话,默认“自动”或者“无”。

Stable Diffusion WebUI 出图颜色发灰?用好VAE立马解决~

如果你使用的是 @秋葉aaaki 大佬的整合包,也可以进入启动器的“模型管理”界面,选择“VAE模型”版块,立马有多个 VAE 模型可以直接下载,下载完成后文件会自动放入根目录。

Stable Diffusion WebUI 出图颜色发灰?用好VAE立马解决~

以上就是本期为大家分享的 Stable Diffusion WebUI 中「外挂 VAE」的相关内容,喜欢本期推荐的话记得点赞收藏支持一波,之后会继续为大家推荐更多实用的 AI 绘画干货。有关于本文或者设计的问题可以在评论区提出 ,我会第一时间回复。

获取更多优质 AI 绘画干货知识,欢迎访问 「优设AI自学网」 ,超多 AI 绘画神器与教程等你探索。

访问链接: https://ai.uisdc.com/

参考资料: https://blog.csdn.net/naisongwen/article/details/132040012 https://zhuanlan.zhihu.com/p/631452035

相关资讯

速度更快!新版 SD WebUI Forge 保姆级安装教程

不知道平时经常使用 SD WebUI 的小伙伴发现没有,随着安装插件和模型越来越多,WebUI 时不时会出现卡顿或爆显存的情况,尤其在低显存的硬件上更加明显,只能不停的重启来解决。 估计是 WebUI 的作者张吕敏博士自己也发现了这个问题,于是升级版的 SD WebUI Forge 它来了!操作界面虽然和原来的一模一样,但运行效率和图像生成速度都有了不错的提升,下面快跟着我来看看吧~ 一、Forge 基础介绍 首先关于为什么取 Forge 这个名字:单词 Forge 有「锻造」的意思,根据作者解释,该词的灵感是来源

效率暴涨!5 款设计师必备的 Stable diffusion WebUI 模型

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前腾讯云设计中心分享了一篇用 Stable Diffusion WebUI 完成 B 端图标设计的教程,方法是搜寻多张 B 端图标素材,然后自己训练一个模型,这样只要输入关键词就能生成风格统一且质量极高的图标素材。腾讯云设计中心用自训练模型生成的 B 端图标 原文链接:这种方式比在 3D 软件中设计制作素材要快很多,可以用有效提升设计工作效率。但是自训练模型对普通设计师来说还是有一定门槛的,比如需要熟练掌握 Stable Diffusion WebUI 的相关操作

神仙插件 LightFlow!一键复用SD WebUI工作流

大家好,这里是和你们一起探索 AI 绘画的花生~ 今天为大家推荐一个非常好用的 Stable Diffusion WebUI 插件 LightFlow,它可以将一张图像的生成参数和相关设置保存为文件,这样无论是复用图像生成信息还是分享给别人都非常方便,可以有效提升我们的出图效率。 :一、LightFlow 简介 Github 主页: 官方飞书文档: LightFlow 开源社区: 在 WebUI 中,当我们想复现某张图像的效果时,一般会去「图像浏览库」中找到对应的图像,然后将生成信息发送到文生图中进行修改。这