ControlNet

ControlNet作者“敏神”（张吕敏），刚刚上新了一个新项目——名叫IC-Light V2，可以说是把AI打光这事儿玩得溜溜的。 图片IC-Light是此前张吕敏开发的图像处理工具，可以通过AI技术精确控制图像中的光照效果。 而此次的V2版本则是一系列基于FLUX的IC-Light型号，具有16通道VAE和原生高分辨率。

阿里妈妈创意团队宣布开源 FLUX-Controlnet-Inpainting AI 图像修复模型。该模型宣称结合了 FLUX.1-dev 和 ControlNet 的优势，能高质量修复图像。模型可以理解用户语言描述，并修复图像且支持改变风格，官方示例如下：FLUX-Controlnet-Inpainting 与 SDXL-Inpainting 相比，生成内容效果对比如下（输入图像 | 蒙版图像 …

大家好我是花生~ 绘画模型 Flux.1 自推出后，以其超强的图像生成能力迅速受到广泛关注，一跃成为新一代的 AI 文生图模型标杆。 虽然 Flux.1 dev / schnell 模型开源还不到 1 个月，但围绕其进行的生态建设却发展迅猛：目前已经出现了至少 4 种不同的模型版本和几百款 checkpoint 、lora 模型，配套的 controlnet 模型也已经上线，各种基于 flux 的…

只用不到 10% 的训练参数，就能实现 ControlNet 一样的可控生成！而且 SDXL、SD1.5 等 Stable Diffusion 家族的常见模型都能适配，还是即插即用。同时还能搭配 SVD 控制视频生成，动作细节控制得精准到手指。在这些图像和视频的背后，就是港中文贾佳亚团队推出的开源图像 / 视频生成引导工具 ——ControlNeXt。从这个名字当中就能看出，研发团队给它的定位，就…

大家好，这里是和你们一起探索 AI 的花生~ Controlnet 可以说是目前最重要的一款 AI 绘画控制插件，可以帮我们实现轮廓、深度、动作姿势、颜色等多种控制效果。由于每种控制条件都需要调用不同的控制模型，加上 SD1.5 和 SDXL 的生态并不互通，大家肯定都至少安装了十几种模型文件，给磁盘空间带来了很大的压力。 最近一款名为 ControlNet 的模型却改变了这个状况，它将十多种控制…

大家好，这里是和你们一起探索 AI 的花生~ 最新 ControlNet 有两款新模型无比热门，一个是用于提取图象线稿的预处理模型 Anyline，一个是 SDXL 线条类控制模型 Mistoline。它们不仅单独的功能强于目前的 canny、lineart、softedge 等模型，组合在一起更是可以快速准确地处理超复杂的图象，今天就为大家详细介绍一下它们的特点和用法。 相关推荐：一、Anyli…

有关浏览推举：

这节课我们继续去学习 Controlnet 预处理器中的脸部与姿势预处理器，这也是我们在应用 Controlnet 时最常用的一种控制方式之一，应用姿势能让我们生成的图象与输入的脸部与姿势数据保持一致性。一、DW 姿势预处理器①先容：从图象中提炼手部、身体、脸部姿势信息并生成骨架图； ②检测手部、身体、脸部：这不用说了吧，关掉就不会生成此部位骨架图，开启就会生成此部位骨架图； ③BBox 检测：边…

前言：我们在前面的基础教程中已经知道怎么去连接 Controlnet 了，接下来我们就要去了解一下不同的 Controlnet 预处理器以及 Controlnet 模型分别有什么结果和作用； 我们先从最常用的“线条预处理器”开始，这也是我们最常用的预处理器之一，我们做动漫转真人、真人转动漫、线稿上色等结果时必用的一个预处理器； 我们会在“Controlnet 预处理器-线条”线条里面发现 14 个…

一、川言川语 大家好，我是言川。本期文章是 2024 年的第一篇文章，也是 2023 年农历的最后一篇文章。截至这篇文章完成时，距离春节也只有最后一周的时间了，我无法单独向支持我的朋友们传达祝福之意。所以在本篇文章的开头，向大家说一些祝福之词： 2024 年，祝大家在新的一年里事业有成，大展宏图，前程似锦。同时在事业之外，祝大家健康、快乐以及幸福。 2024 年，辰龙年，祝大家龙飞凤舞，事业腾飞；…

大家好我是花生~ 之前为大家系统介绍过 Stable Diffusion WebUI 中 Controlnet 插件的装置运用方法，也系统梳理过各个模型的用法。现在 Controlnet 又有了一些新的模型和功能，今天正好为大家梳理一下。相关模型文献都在文末的云盘链接内，有需求的小伙伴记得下载~ Controlnet 相关推荐：一、Animal_openpose Animal_openpose 是…

在这个时代，我们习惯于拥有高清、色彩丰富的照片，然而，那些古老的黑白色老照片由于年代的久远，往往会出现模糊、破损等现象。 那么今天要给大家介绍的是，用 Stable Diffusion 来修复老照片。 前段时间 ControlNet 的除了上线了“IP-Adapter”模型以外还增加另一个叫“Recolor”的模型，它的作用就是给图片重新上色。通过“Recolor”，我们能够让那些古老的黑白色老照…

色彩统制一直是 AIGC 的难点，prompt 会污染、img2img 太随机… 今天带来利用controlnet，实现对画面色彩的有效统制。都说AIGC是抽卡，但对把它作为工具而非玩具的设计师，必须掌握如何统制它，让我们一起开始可控AI生成。 更多相关干货：一、想给 AI 点色彩瞧瞧，怎么这么难 大家或许已经通过各种《三分钟包会》《五分钟出道》的教程，可以手拿把掐的将一张商品图，完美植入需要的配…

在上一篇里我已经为各人介绍了关于 ControlNet 的基本功能、安装和利用技巧，相信各人对这款神级插件已经有了基本认识，今天我会为各人更详细的介绍 14 种官方控图模型的差异和利用技巧，以及最近刚面向 SDXL 更新的社区模型。一、官方模型和社区模型 前文我们提到 ControlNet 模型是由张吕敏开源的，目前开源的模型包括以下这 14 种，作为 ControlNet 的布道者，我们可以将这…

本日的文章我将为你娓娓道来关于 ControlNet 的滥觞先容、安置格式和运用技能。 下篇：更多相干干货：

大家好，这里是和你们一起探索 AI 绘画的花生~ 知名 Stable Diffusion 插件 ControlNet 在 9 月初迎来了一次比较大的革新，新增了 Recolor 和 IP-Adapter 2 个新模型，更重要的是支持 xl 系列的把持模型，可以配合 SDXL 大模型运用，今天就一起来看看如何在 Stable Diffusion WebUI 中运用这些新模型~ 往期回顾：一、Cont…

大家好，这里是和你们一起探索 AI 绘画的花生~ 最近一款 Photoshop 插件 Imagecreator 广受关注，它将 Stable Diffusion 生态中的文生图、图生图、局部重绘等功效引入 Photoshop 中，支持灵活调用多种大模型、Lora 模型和 ControlNet 插件，让我们可以在 Ps 中以利用 Stable Diffusion WebUI 的方式完成 AI 出图 …

一、媒介 大家好！在现今数字化时期的计划范畴，技术的发展不断引领着革新的标的目的，而 StableDiffusion 作为一款混合了人工智能与艺术的图画软件，正为我们带来亘古未有的计划可能性。我们天天都在与图象和笔墨打交道，而如何让它们更活泼、更吸收人，正是计划师们的永远寻求。在这个配景下，StableDiffusion 扮演着一个重要的脚色，为我们提供了一把开启创作新境地的钥匙。

一、前言 欢迎阅读本文，我将在这里详细介绍如何运用 StableDiffusion 结合 ControlNet 插件，实现对图片生成的精准统制，以及如何融入 LoRa 模型进行创作，本文还会详细介绍缩小图片分辨率以及增强图片的多种法子。通过本文，你将学会如何结合这些功用创作出成果非常炸裂的图片，告别只会画人物的困扰，让你体验从入门到卸载软件的灵魂过程，内容巨干，须要一杯卡布奇诺帮助各人消化此内容，…

大家好，这里是和你们一起探索 AI 绘画的花生~ 之前为大家出了一期制造风格化二维码的教程，是用 Stable Diffusion WebUI 加上 controlnet 插件在诟谇方块中融入插画。不过很快这种二维码就发展出更神奇的样子——诟谇色块完全融入到画面中，第一眼根本看不出，但是依旧可以被手机扫描和鉴别。而达到这样的效果只需要一个新的 controlnet 模型 QR code monst…

大家好，这里是和你们一起探索 AI 绘画的花生~ 最近在网上看到很多用 Stable Diffusion WebUI 配合 Controlnet 插件制作字效的案例，我也尝试了一下，效果非常不错，能用来快速生成各种高质量且极具创意的中文立体字效，今天就为大家分享相关的操作方法 ~ 上期回顾：一、准备字体图片素材 首先我们可以在 Ps 或者 Ai 中准备字体图片素材，图片需要是白底黑字，尺寸按自己的…

大家好，这里是和你们一起探索 AI 绘画的花生~ Stable Diffusion WebUI 的绘画插件 Controlnet 在 4 月份革新了 V1.1 版本，发布了 14 个优化模型，并新增了多个预处理器，让它的功能比之前更加好用了，最近几天又连续革新了 3 个新 Reference 预处理器，可以直接根据图象生产格调类似的变体。使用 Reference only 预处理器生成一张图片的多…

前言 Hello，大家好，言川又来写教程啦！！这是一篇继《外婆都能看懂的 Stable Diffusion 入门教程》教程之后的一篇文章，如果你还没有安置并了解 stable diffusion 这个软件，那么你一定要先去看看入门教程的文章，然后安置 stable diffusion。一、Controlnet（图象精确操纵）是什么？ ControlNet 是一个用于操纵 AI 图象生成的插件。它使…

ControlNet 的作用是通过添加额外掌握条件，来引导 Stable Diffusion 按照创作者的创作思路生成图象，从而提升 AI 图象生成的可控性和精度。在使用 ControlNet 前，需要确保已经正确安装 Stable Diffusion 和 ControlNet 插件。如还未安装，可以参照这篇文章中的教程举行安装部署：目前 ControlNet 已经更新到 1.1 版本，相较于 1…