好久没更新了,最近发布的 Flux 质量着实惊艳到了我,顺便整理了一下发布了这篇文章。关于 ComfyUI 进阶教程我已经重新拾起来了,后面会继续更新。
往期教程:
前言:
前 Stability AI 成员 Robin Rombach 创立了 Black Forest Labs 并发布了三个开源模型:FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell];
[pro] 是最顶级的模型,但是仅可通过 API 调用;
[dev] 是由[pro]提炼,开源但非商用,质量和效果与[pro]类似;
[schnell] 是经过蒸馏的 4 步模型,速度比 [dev] 快 10 倍,Apache 2 许可。
FLUX.1 [pro] 和 [dev] 在视觉质量、提示遵循性、 尺寸/纵横的多样性、字体排印和输出多样性方面均超过了 Midjourney v6.0、DALL·E 3 (HD) 和 SD3-Ultra 等流行模型(官方说的,事实如何我们看后面的对比);
目前 ComfyUI 已支持此模型,更新到最新版即可使用。
一、下载模型
使用 FLUX 不仅需要使用 FLUX 本体,还需要下载 CLIP 以及对应的 VAE;
我这么贴心肯定已经已经下载好,上传到百度网盘了。大家可以根据下方的官方地址下载,也可以去文章末尾的百度网盘下载,网盘中有这节课用到的所有模型、工作流等内容。
下载 CLIP 模型:
需下载 t5xxl_fp16.safetensors 或 t5xxl_fp8_e4m3fn.safetensors (建议 fp8 版本,如果你显存超过 32G 可选择 fp16 版本)和 clip_l.safetensors 到 ComfyUI/models/clip/ 目录中;
此模型和 SD3 使用的是一样的,如果文件夹中已有,可以不用下载
下载地址: https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
下载 VAE 模型:
下载 ae.sft 存放至 ComfyUI/models/vae/ 目录;
下载地址: https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.sft
下载 Flux 模型:
FLUX 模型有四个可选,FLUX.1 [dev] 、FLUX.1 [dev] fp8、FLUX.1 [schnell]、FLUX.1 [schnell] fp8;
① FLUX.1 [dev] :官方版本满配版,没几个小伙伴跑的动;
下载地址: https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/flux1-dev.sft
② FLUX.1 [dev] fp8:大佬优化 [dev] 后版本,建议选择此版本,最低 12G 显存可跑;
下载地址: https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors
③ FLUX.1 [schnell]:4 步蒸馏模型,(前言有写),大多数显卡可跑。
下载地址: https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.sft
④ FLUX.1 [schnell] fp8:大佬优化 [schnell] 后版本,建议选择此版本,其他同上,但能适应更低的显卡配置。
下载地址: https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-schnell-fp8.safetensors
存放位置:ComfyUI/models/unet/目录。
二、工作流及官方试用地址
ComfyUI 工作流我就不一个个节点搭了,可以直接去下方的 ComfyUI 官方网址下载(官方只给了文生图),也可以去我的网盘下载(网盘中有我稍微调整过的、以及图生图): https://comfyanonymous.github.io/ComfyUI_examples/flux/
1. 文生图
FLUX.1 [dev] 模型:
① FLUX.1 [schnell] 4 步蒸馏模型:
2. 图生图
① FLUX.1 [dev] 模型:
② FLUX.1 [schnell] 4 步蒸馏模型的图生图就不推荐使用了,图生图就是通过调节降噪数值来控制所跳过的生图步数进行的,而 [schnell] 只需 4 步就能生成图片,也就会导致无法得到很好的控制效果。
FLUX.1 [Por] 模型(只有只能通过 API 使用): https://replicate.com/black-forest-labs/flux-pro
FLUX.1 [schnell] 试用: https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell
三、Flux 与 MJ 对比
总结/吐槽
在一些地方确实强于 Midjourney,比如对提示词的遵循性、文本内容的准确性、尺寸/纵横比;
美学程度、风格多样性(尤其是画家风格)不如 Midjourney。虽然如此,但是已经可以和 MJ 平起平坐了,甚至超越 MJ 了,毕竟开源啊。
不过,虽然开源,但是 [dev] 并不免费商用,会导致很多大佬们不会进行微调以及训练对应的 Lora、CN 等模型;