大家好我是花生~
绘画模型 Flux.1 自推出后，以其超强的图像生成能力迅速受到广泛关注，一跃成为新一代的 AI 文生图模型标杆。 虽然 Flux.1 dev / schnell 模型开源还不到 1 个月，但围绕其进行的生态建设却发展迅猛：目前已经出现了至少 4 种不同的模型版本和几百款 checkpoint 、lora 模型，配套的 controlnet 模型也已经上线，各种基于 flux 的文生图、图生图、高清放大、局部重绘、面部修复工作流也投入了使用，让人惊叹于开源社区强大的生命力。
生态能发展完善肯定是好事，但发展太快也容易让人跟不上。我虽然每天都会特意了解 Flux 的资讯，但还是会被源源不断的新内容弄得眼花缭乱、头皮发麻，更不说屏幕前的无法实时关注的大家了。为了更好地让大家跟上 Flux 的发展节奏，我花了一整天的时间，详细梳理了目前 Flux 生态内的各种模型、插件资源，并整理了对应的使用方法，今天就把最终结果呈现给大家，看完之后你肯定会对 Flux 有一个全面深入的了解。
另外本篇文章的内容将更多集中在新推出的内容上，如果你之前完全没有接触过 Flux.1 模型，推荐先看看下面这篇文章，对其有一个基础了解：
一、不同的 Flux.1 模型版本
除了 Black Forest Labs 官方推出的 2 个开源模型外，开源社区目前也开发出多个不同的版本，它们也都有各自的应用方向。主流的版本如下（扫描文末二维码，进群领取思维导图文件链接）：
如果你有 16G 以及以上的显存，那么官方模型肯定是最好的选择，它们的性能和生图质量是最好的；
其次是 fp8 模型，比原版模型小很多，8G 显存可运行，且关键的文本、细节生成质量没有明显下降；
然后是 @lllyasviel 张吕敏大神发布的 NF4 量化版本。模型变得更小了，生成速度更快，如果在 WebUI forge 中使用共享模式运行，6G 显存也能带动。目前有 v1 和 v2 两个版本，v2 在细节和速度上更优；
最后是 @City96 开发的 3 个 GGUF 量化版本。其中 Q8 的出图效果、速度都优于 fp8，需要 12GB 以上的显存；而 Q4 版本 8G 显存就能带动，生成质量比 NF4 好一些。
注意：这些量化版本的使用许可与原版模型是一致的，即 Dev 不可商用，Schnell 可以商用。
需要注意的是目前开源社区有两个 fp8 模型，它们的名称一样，但大小和加载方法是不一样的：一个由 @ kijai 开发，11.9 GB，在comfyui 中加载时需要配备 clip、vae等模型，适合原版工作流；另一个是 ComfyUI 官方开发的，17.2GB，融合了 clip、vae 等模型，可直接作为普通大模型使用，工作流更简单。为了方便区分，大家最好下载后重新命名，比如 flux1-dev-fp8-kijai 和 flux1-dev-fp8。
目前以上所有模型都可以在 ComfyUI 中运行，NF4 和 GGUF 也支持在新版的 WebUI Forge 中使用。下面介绍一下如何在 ComfyUI 和 WebUI Forge 中安装使用最新的 NF4 和 GGUF Q4 模型。
二、在 ComfyUI 中使用新版模型
首先需要将 ComfyUI 更新到最新版本，然后安装两个拓展插件：
① ComfyUI_bitsandbytes_NF4：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 （用于加载 NF4 模型，通过git clone 安装）
② ComfyUI-GGUF：https://github.com/city96/ComfyUI-GGUF （用于加载 GGUF 模型）
相关模型、工作流文件网盘内都有提供。下载 flux1-dev-bnb-nf4.safetensors 模型后，放到根目录的大模型文件夹，然后加载 comfyui_flux_nf4 工作流。它的用法和普通大模型是一样的，但是不需要负面提示词，其余参数保持默认即可。我生成一张 1024*1024 的图像需要 2-3 分钟，比之前的 fp8 模型快 2 倍。
如果是 GGUF 模型，可先下载适合自己的版本（比如 flux1-dev-Q4_0.gguf ），安装到根目录的 models/unet 中，然后加载 flux_gguf 工作流。由于用到的模型很多，在生成前最好先检查一下每个模块的选择是否正确。
三、在 WebUI Forge 中使用新版模型
WebUI Forge 官网：https://github.com/lllyasviel/stable-diffusion-webui-forge （网盘有 windows 资源包，但之后可能还会更新，推荐直接到官网下载）
首先需要安装 WebUI Forge，官方有提供一键安装包，解压后点击 update.bat 进行更新（不可跳过），然后点击 run.bat 启动程序（启动阶段关闭代理），就能正常使用了。现在的 Forge 有 sd/xl/flux/all 4 种 UI 界面可选，适用于不同的模型。
对于 NF4 模型，先将模型安装到 Forge 根目录的 models\Stable-diffusion 文件夹中，然后启动程序，选择 flux 界面。相关的生成参数如下：
大模型：flux1-dev-bnb-nf4-v2.safetensors
提示词：Astronaut in a jungle, cold color palette, muted colors, very detailed, sharp focus
Steps: 20 / Sampler: Euler / Schedule type: Simple / CFG scale: 1 / Distilled CFG Scale: 3.5
对于 GGUF 模型，先将主模型安装到 models\Stable-diffusion 文件夹中， ae.safetensors 放入 models\VAE 文件夹（注意 vae 尾缀必须为 safetensors ），clip-l 和 t5xxl 放入models\text_encoder文件夹。然后启动程序，选择 flux 界面。相关的生成参数如下：
大模型：flux1-dev-Q4_0.gguf
vae/text_encoder: ae.safetensors / clip-l / t5-xxl
提示词：A white street sign that says “I’m pink”.
Steps: 20 / Sampler: Euler / Schedule type: Simple / CFG scale: 1 / Distilled CFG Scale: 3.5
经测试生成一张 1024*1024 的图像需要 3 分钟左右，速度还是比较快的。
四、Flux Lora 模型资源
目前 Flux 官方及 FP8 版本模型都支持接入 Lora 一起使用，而可用的 Flux Lora 模型也非常丰富，大家可以直接去 Civitai 、LiblibAI 或者 Huggingface 上自行下载安装。下面是一个在线体验 Flux Lora 模型的网站：
网址：https://huggingface.co/spaces/multimodalart/flux-lora-the-explorer
在 ComfyUI 中使用 Flux lora 时，也有 2 款不同的工作流可以使用：一款是基于原生工作流，主模型存放在 Unet 文件夹；另一款是简化工作流，适用于 comfyUI 推出的 fp8 模型，主模型放在 checkpoints 文件夹。
两款工作流文件都可在网盘内下载，分别是 flux-lora-original.json 和 flux-lora-simple.json。载入后记得检查模型的选择是否正确，尺寸、提示词、lora 权重等参数可自定义修改。需要注意的是，一定要在提示词中填写 lora 的触发词（Trigger Words 一般在模型发布页面都有提供），否则模型会不起效果，下图中塔罗lora 的触发词就是 “in the style of TOK a trtcrd, tarot style”。
我们也可以在 webui forge 中使用 lora 模型。模型放在 models\Loras 文件夹中，依旧需要与官方 fp16 模型或者 fp8 模型配合，使用方式和 sd1.5 是一样的：在 lora 版块中点击模型将其添加到提示词中，然后加上 lora 触发词，再点击生成就可以了。Forge 官方表示之后会支持针对 NF4 的 lora。
五、Flux Controlnet 模型资源
目前开源社区有 2 个团队训练出了适用于 Flux 的 Controlnet 模型。这些模型适用于 Flux 官方和 fp8 模型，且运行时对显存占用更高，需要 12G 及以上的 VRAM 才能顺利生成。
首先是 XLabs 团队，推出了 canny、depth 和 hed 三款模型，并更新到了 v3 版本。在 ComfyUI 中使用时，需要先安装 x-flux-comfyui 插件，然后在 custom_nodes\x-flux-comfyui 文件夹中，通过终端运行 pip3 install -r requirements.txt 命令，安装依赖项。
然后将模型放入根目录的 models\xlabs\controlnets 文件夹中，并从 custom_nodes\x-flux-comfyui\workflows 中加载对应的工作流即可使用。另外 XLabs 也发布了多个 flux lora 模型，可以在上面的 huggingface 链接内查看；workflows 文件夹中有对应的 lora 工作流。
x-flux-comfyui 插件：https://github.com/XLabs-AI/x-flux-comfyui
XLabs 模型下载：https://huggingface.co/XLabs-AI （文末有资源包）
之前为大家介绍过多合一的 Controlnet 模型 controlnet-union-sdxl-1.0 ，现在 Flux 生态也有了同类型的 FLUX.1-dev-Controlnet-Union-alpha 。它由 Xlabs 团队训练，融合了 canny / depth / Pose / Tile 等多种控制条件。目前模型开源可用，但有一些小 bugs 官方正在修复，之后还会发布一个新的版本。
在 ComfyUI 中加载此模型时，需要先安装 ComfyUI-eesahesNodes 插件，然后在 custom_nodes\ComfyUI-eesahesNodes 文件夹内运行 python -m pip install -r requirements.txt 命令安装依赖项。Controlnet 模型文件下载后安装到 models/controlnet 文件夹中，为方便识别最好重命名。
模型链接：https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha/tree/main
ComfyUI-eesahesNodes 插件：https://github.com/EeroHeikkinen/ComfyUI-eesahesNodes
那么以上就是本期为大家梳理的 Flux.1 最新动态，如果对你有帮助的话记得点赞、收藏、评论支持一波，我会有更动力为大家推荐新的干货内容~
文内的资源都可以在云盘内下载。ComfyUI 的学习门槛比较高，如果你想掌握它，建议先从 Stable Diffusion WebUI 开始，它更适合初学入门，学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程，包含 Stable Diffusion WebUI 全面细致的用法教学，并提供配套资源，能帮你快速掌握这款目前最热门的 AI 绘画工具。