超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

前言:我们上一节讲了图生图,也提到了“遮罩”这个节点; 我们想一下在使用 Web UI 进行局部重绘的时候都用到了那些功能?上期回顾:内容补充: 在开始之前我先给大家补充个知识点,怎么在图生图的时候批量出图“右键-新建节点- Latent-批处理-复制 Latent 批次”,把“复制 Latent 批次”节点串联在“VAE 编码”和“K 采样器”之间,然后设置次数就可以了。一、创建流程 ①我们打开上节课“图生图”的流程图,我们可以看到“加载图像”节点是没有地方连接的,点住“遮罩”往外拉,松开然后选择“VAE 内补编

超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

前言:

我们上一节讲了图生图,也提到了“遮罩”这个节点; 我们想一下在使用 Web UI 进行局部重绘的时候都用到了那些功能?

上期回顾:

内容补充:

在开始之前我先给大家补充个知识点,怎么在图生图的时候批量出图“右键-新建节点- Latent-批处理-复制 Latent 批次”,把“复制 Latent 批次”节点串联在“VAE 编码”和“K 采样器”之间,然后设置次数就可以了。

超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

一、创建流程

①我们打开上节课“图生图”的流程图,我们可以看到“加载图像”节点是没有地方连接的,点住“遮罩”往外拉,松开然后选择“VAE 内补编码器”;

②我们会看到刚才添加的“VAE 内补编码器”和“VAE 编码器”相比多了遮罩、遮罩延展:

遮罩:用来连接“加载图像”的遮罩; 遮罩延展:类似于羽化(根据你的图像大小适当调整)。

超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

③有了“VAE 内补编码器”我们就不再需要“VAE 编码”了,并且“图像缩放”节点也可以删掉了(如果你图像太大还是建议保留这个节点);

④我们把“VAE 内补编码器”节点的“图像、遮罩”与“加载图像”节点的“图像、遮罩”连接,“VAE”与“VAE 加载器”连接,“Latent”与“K 采样器”连接。

超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

⑤在“加载图像”节点上面“右键-在遮罩编辑器打开”,我们就可以看到一个绘制重绘区域的弹窗。下方有三个按钮和一个滑块,分别是清除(清除绘制区域)、取消(关闭弹窗)、Stave to node(把重绘图像同步到节点)、滑块(调整画笔大小)

超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

⑥我们输入想要重绘的关键词就可以出图了,我演示中是把小猫重绘成了小狗

超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

⑦这个流程不止还可以进行修复,还可以更模型,绘制成不同的风格

二、智能扩图流程

1. 我们可以通过对图像四周进行重绘进行扩图,这时候我们就用到一个“外补画板”节点,“右键-新建节点-图像-外补画板”;

2. 上下左右是设置向外扩散尺寸的,羽化和 VAE 内补编码的遮罩延展一个意思。

超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

3. 这个节点是连接在“加载图像”(如果你添加了“图片缩放”节点,那就在这个节点后面)节点和“VAE 内补编码器”节点之间,如下图所示:

超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

超详细的 Stable Diffusion ComfyUI 基础教程(五):局部重绘+智能扩图

相关资讯

39亿参数模型公开可用,采样速度7倍提升,残差量化生成图片入选CVPR'22

基于残差量化的自回归图像生成,官方已将代码公开。

无监督训练用堆叠自编码器是否落伍?ML博士对比了8个自编码器

柏林工业大学深度学习方向博士生 Tilman Krokotsch 在多项任务中对比了 8 种自编码器的性能。

微软工程师用PyTorch实现图注意力网络,可视化效果惊艳

近日,一个关于图注意力网络可视化的项目吸引了大批研究人员的兴趣,上线仅仅一天,收获 200+ 星。该项目是关于用 PyTorch 实现的图注意力网络(GAT),包括易于理解的可视化。