大家好,我是花生~
上期为大家梳理了 Flux 生态的主流版本模型以及 Lora、Contronet 模型的用法,今天我们继续了解一些 Flux 基础工作流,如图生图、高清放大、局部重绘等,其中还包括上周新推出的 Flux IP-Adapter 的相关用法。
上期回顾:
一、文生图工作流
之前为大家介绍过 2 款 Flux 基础文生图工作流,但其中原版工作流用到的模型节点较多,有的小伙伴在使用时一个不小心就会选错,导致工作流运行出现报错或者生成效果不佳,今天就再介绍一下其中比较重要的参数设置。
① weight_dtype(剪枝类型):目前大家用的最多的应该还是 dev fp8 这个模型 ,那么对应的 weight_dtype 记得要选 fp8_e4m3fn,如果选默认生成时间会变很长。
② t5xxl 模型有 fp16 和 fp8 两款可选,它们对画面整体效果没有很大影响,只是 fp16 的细节会更精致,但是占用的资源也会更多,所以一般选 fp8 就足够了。type 类型记得要选 flux,而非 sdxl 或者其他。
③ Flux 模型对图像尺寸的兼容性非常好,无论是 512*768 这样的小尺寸,还是 300*1200 这样的极限画幅比,Flux 的生成效果都很好。因此如果你的显存不是很高,建议先生成小尺寸图像, 然后再放大。
④ 官方推荐的 sampler/scheduler 配置是 euler+simple,但这个搭配并非绝对,开源社区的大神测试出 ipdmn +simple、uni_pc+bh2+simple、 euler+beta 等配置可以得到更好的出图效果,大家可多做尝试。
⑤ 官方推荐的 guidance 数值为 3.5,但它也可以在 2-5 之间灵活调整。当数值小于 3 时,生成的图像的艺术风格会更明显;在 3-3.5 时,兼容性最好,可以应对不同的场景;数值大于 3.5 时,画面细节会有所增强,但是对比度会变得非常高。
另外,Flux 模型本身不需要负面提示词和 CFG 参数,但在某些场景中还是需要加上一个空的 Clip_Text_Encoder 节点,来保证工作流正常运行;如果连接的节点中有 CFG 参数,记得数值要设置为 1,否则会影响画面效果。
二、图生图
图生图的工作流非常简单,只需在文生图的基础上,加上一个「图像上传」和一个「VAE 编码」节点即可。图生图可以用来小幅度调整画面效果,如修改画面质感、风格、人物表情、装饰物等。
图生图的效果主要通过 2 个参数来控制。一是提示词,我们要将需要修改的内容填写到正向提示词中,比如你想将一张真人照片转为动漫风格,就需要在提示词中加上 “anime style” 这样的提示词;另一个是 Denoise 去噪参数,数值范围 0-1,数值越高,生成的画面与原图的差别会越明显。
三、高清放大
由于高清放大是在图像生成后进行的,因此我们只需将常用的放大工作流接在 Flux 文生图或图生图工作流后面就可以了。目前比较受欢迎的放大节点是 Ultimate SD Upscale,放大模型推荐选 4x-UltraSharp。使用此节点需要添加一个空的负面提示词节点,并且 cfg 参数也要调整为 1。
四、局部重绘
这里推荐 2 种局部重绘的方式,一是添加 VAE Encode(for inpainting)节点,虽然简单但是重绘效果非常不错;另一个是更复杂一点,使用了 differential diffusion、guassian blur mask、Inpaint model conditioning 节点,重绘效果更自然精细。
使用局部重绘时需要注意两点,一是涂抹局部重绘区域时,边缘可以适当向外多涂一点,这样重绘效果更自然;二是多调整 denoise 的数值,一般在 0.8 或者以上会有比较好的效果。
方法①
方法②
五、IP-Adapter
模型下载: https://huggingface.co/XLabs-AI/flux-ip-adapter (文末有资源包)
XLab 在上周又推出了针对 Flux 的 IP-Adapter 模型,可以学习一张图片的色调风格、内容构成以及角色形象。虽然目前效果不如 SD1.5 和 SDXL 准确稳定,但是用来提取风格效果还是不错的,官方也表示目前只是第一版,未来将推出更稳定的版本。
使用方法:
① 更新 ComfyUI,安装或更新 x-flux-comfyui 到最新版本;
② 从网盘内下载 clip_vision_l.safetensors 文件,安装到根目录的 models/clip_vision 文件夹;再下载 flux-ip-adapter.safetensors 文件,安装到 models/xlabs/ipadapters 文件夹中。
③ 启动 ComfyUI,从 custom_nodes\x-flux-comfyui\workflows 中加载对应的 ip_adapter_workflow 工作流。
④ 上传需要学习的图像,检查每个节点的模型选择是否正确,然后点击生成即可。ip_adapter 的强度设置在 0.8 左右比较合适,如果觉得效果不好,可以尝试在 Xlab Sampler 节点中将 true_gs 数值设置为 2。记得多生成几次,可以得到更好的结果。
那么以上就是本期为大家推荐的 5 款 Flux 基础实用工作流,文内的工作流文件都可以在云盘内下载。如果文章对你有帮助,记得点赞、收藏、评论支持一波,我会有更动力为大家推荐新的干货内容~
ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。