ComfyUI实战教程!5分钟部署最新Flux大模型

Midjourney 和 Stable Diffusion 都是目前流行的 AI 图像生成工具,它们能够根据文本描述生成高质量的图像。都是基于深度学习技术的文本到图像生成模型,但它们各自基于不同的大模型。但最近推出了一款比前两者更强大,生成图像更加逼真,在细节上更符合现实世界的模型,就是 FLUX!

ComfyUI实战教程!5分钟部署最新Flux大模型

Midjourney 和 Stable Diffusion 都是目前流行的 AI 图像生成工具,它们能够根据文本描述生成高质量的图像。都是基于深度学习技术的文本到图像生成模型,但它们各自基于不同的大模型。

但最近推出了一款比前两者更强大,生成图像更加逼真,在细节上更符合现实世界的模型,就是 FLUX!

一、什么是 Flux?

Flux AI 是由 Black Forest Labs 推出的一款最新的文本生成图像模型,这个团队是由从 Stable Diffusion 离开的原班人马,创立的全新用于 AI 绘图的大模型。Flux AI 模型以其卓越的视觉质量、精确的提示词遵循、多样化的风格和复杂场景生成能力而著称。它包含三个版本:FLUX.1 [pro]、FLUX.1 [dev]和 FLUX.1 [schnell],分别针对不同的使用场景和需求。

FLUX.1 Pro

是专为商业用途设计的闭源模型,提供最先进的图像生成性能。

FLUX.1 Dev

是一个开源的引导蒸馏模型,适用于非商业应用。

FLUX.1 Schnell

是专为本地开发和个人使用设计的快速版本。

Flux AI 模型采用了创新的混合架构,结合了多模态处理能力和并行扩散机制的 Transformer 技术,并扩展至高达 120 亿个参数。这些模型在训练生成模型的方法上采用了流匹配技术,这种方法不仅通用性强,而且概念简洁,特别适用于包括扩散过程在内的各种情况。

官方网站: https://blackforestlabs.ai/

ComfyUI实战教程!5分钟部署最新Flux大模型

官网展示图片样例:

ComfyUI实战教程!5分钟部署最新Flux大模型

ComfyUI实战教程!5分钟部署最新Flux大模型

ComfyUI实战教程!5分钟部署最新Flux大模型

以下是 Flux、Midjourney 和 Stable Diffusion 模型的对比:

图像质量

Flux: 不需要其他插件的参与,本身就擅长生成高分辨率、细节丰富的图像,特别是在复杂场景和人体解剖学方面表现出色。

Midjourney: 以其艺术风格和高质量输出闻名,尤其在艺术性和风格多样性上有优势。

Stable Diffusion: 能够生成逼真的图像,适合需要真实感输出的项目。

速度和效率

Flux: 提供快速的图像生成,特别是 schnell 变体,适合需要快速原型制作和迭代设计的过程。大多数情况下不需要额外的下载风格模型,即可输出各种风格的图片。

Midjourney: 未明确提及速度,但通常商业模型可能会在云服务器上运行,可能存在排队等候的情况。

Stable Diffusion: 生成速度较慢,但在图像优化过程中提供更多控制。

处理复杂场景

Flux: 在处理复杂构图方面表现出色,得益于其先进的架构。特别是文字方面,flux 可以输出带文字的图片,只要提示词足够的准确可以直接输出设计海报级别的图片。

Midjourney: 能够处理复杂场景,但在某些情况下可能需要更多的迭代来达到理想效果。

Stable Diffusion: 在处理复杂场景方面可能存在一些限制。

人体解剖渲染

Flux: 在渲染人体解剖方面表现出色,尤其是手部细节,更加的完整还原。

Midjourney: 未特别提及,但通常能够生成具有艺术感的人物图像,难以指定准确描绘。

Stable Diffusion: 可能在准确描绘人体特征方面遇到困难。需要额外的插件或者后期的处理才能勉强更正或基本达到效果

灵活性和集成

Flux: 提供多种变体,适合不同的使用场景和需求,包括开源和专业模型。

Midjourney: 作为商业工具,可能在定制化方面有一定的限制。

Stable Diffusion: 开源模型,社区驱动,提供了丰富的定制化和集成选项。

开源与商业模型

Flux: 提供开源模型,鼓励社区参与和创新。

Midjourney: 为商业模型,提供专业的图像生成服务。

Stable Diffusion: 开源模型,有活跃的社区支持和持续的改进。

特定应用

FluxI: 适合需要高细节和准确表现复杂场景的项目。

Midjourney: 适合艺术创作和设计,尤其是在需要艺术风格和创意表现的领域。

Stable Diffusion: 适合对最终图像控制至关重要的真实感输出。

总结来说 flux:

  1. 画面更细节,效果更好
  2. 图片文字支持更突出完整,输出更准确
  3. 人物手部完整,符合现实,基本不会出错
  4. 模型包含风格多,支持风格多样,不依赖额外的模型协助补充
  5. 可忽略输入负面提示词,单靠正面提示词即可准确输出

通过以上对比,flux 之所以更强,是因为它的训练参数是比前两者更大,stable diffusion 3 是最高 8B 的训练参数,约 80 亿,而 flux 1 的开始就是 12B 的训练参数,足足 120 亿,多了好几倍!单个模型的大小就有 23G 大小,可想而知,Flux 强大是很有实力的。

二、Flux 模型的区别:主要分为下面三大模型

ComfyUI实战教程!5分钟部署最新Flux大模型

ComfyUI实战教程!5分钟部署最新Flux大模型

ComfyUI实战教程!5分钟部署最新Flux大模型

ComfyUI实战教程!5分钟部署最新Flux大模型

*注意:如果使用 GGUF 和 NF4,需额外安装插件:

GGUF 节点: https://github.com/city96/ComfyUI-GGUF

ComfyUI实战教程!5分钟部署最新Flux大模型

NF4 节点: https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4

ComfyUI实战教程!5分钟部署最新Flux大模型

三、如何部署安装 flux?

1. 保证你的 comfyui 是最新的版本。(本文使用秋叶老师的启动器)

点击启动器的版本,看到顶部的内核、扩展,依次点击右上角的一键更新按钮,更新到最新的即可。因为 flux 是 8 月前发布的,保证自己的 comfyui 是更新到 8 月 1 日之后的最新版本哦。

ComfyUI实战教程!5分钟部署最新Flux大模型

2. 进入官网的汉堡主页 https://huggingface.com/black-forest-labs/flux.1-dev

ComfyUI实战教程!5分钟部署最新Flux大模型

下载 ae.safetensors(即 vae)、flux1-dev.safetensors(即 unet)

ComfyUI实战教程!5分钟部署最新Flux大模型

3. 下载 clip 文件,进入 comfyui 的 github 主页找到 flux: https://github.com/comfyanonymous/ComfyUI_examples/tree/master/flux

ComfyUI实战教程!5分钟部署最新Flux大模型

从这里进入,看到 clip_l.safetensors、t5xxl_fp16.safetensors、t5xxl_fp8_e4m3fn.safetensors 这三个文件下载。

ComfyUI实战教程!5分钟部署最新Flux大模型

ComfyUI实战教程!5分钟部署最新Flux大模型

4. 文件放置位置:

ComfyUI实战教程!5分钟部署最新Flux大模型

5. 其他资源包括 controlnet 及 lora,在 xlab-ai 主页 https://huggingface.co/XLabs-AI

ComfyUI实战教程!5分钟部署最新Flux大模型

ComfyUI实战教程!5分钟部署最新Flux大模型

*注意如想使用 flux 模型的 controlnet、flux 模型的 iPadapter 等功能,,还需要在 comfyui 里面下载安装 XLabs-Ai 插件。在 comfyui 管理器里打开节点管理,然后搜索该插件并安装,然后重启 comfyui 即可。

ComfyUI实战教程!5分钟部署最新Flux大模型

6. 系统内存设置

注意采用的模型运行占内存比较大时,建议打开系统的虚拟内存:系统设置-高级-性能设置-高级-虚拟内存-勾选自动管理。

ComfyUI实战教程!5分钟部署最新Flux大模型

四、如何快速使用?

官方给出了相关使用的工作流,只需要把官方 github 的案例图片拖放到 comfyui 即可。看图片命名对应使用,值得我们学习。

ComfyUI实战教程!5分钟部署最新Flux大模型

官方案例工作流

如用 flux_dev_example 工作流为例子,将图片拖放到 comfyui

ComfyUI实战教程!5分钟部署最新Flux大模型

得到下面的工作流:

ComfyUI实战教程!5分钟部署最新Flux大模型

把 flux_schnell_example 拖入则得到如下:

ComfyUI实战教程!5分钟部署最新Flux大模型

划分结构:

ComfyUI实战教程!5分钟部署最新Flux大模型

flux_schnell_example 是最为简单的,4 步骤即可出图。

从简单的入手,在 flux_schnell_example 工作流里面尝试使用下面提示词:
一个穿着校服的女孩,拿着粉笔在黑板上写着开心文字,真实摄影,学校教室,半身构图,电影灯光,细节丰富,日式低饱和度

A girl wearing a school uniform, holding chalk to write happy words on the blackboard, real photography, school classroom, half body composition, movie lighting, rich details, Japanese low saturation

得到的出图:

ComfyUI实战教程!5分钟部署最新Flux大模型

  1. 黑板上的字准确体验
  2. 人物的手结构正常
  3. 质感效果按提示词的真实风格符合
  4. 出图效率高,无等待感,跟提示词吻合

接着我们在模型之间插入一个 lora 加载器,并且在网上下载了一个黑神话悟空的 lora 模型,加载进去(lora 来自 liblib.art 平台作者:AI 游戏课堂熊熊)

ComfyUI实战教程!5分钟部署最新Flux大模型

模型先使用 fp8 schnell,使用 lora 作者提供的描述词,然后启动队列,看到作者电脑 32G 内存,可以去到 85%到 98%上,显卡是英伟达 2080。

ComfyUI实战教程!5分钟部署最新Flux大模型

输入提示词:

悟空,在绘画室内,绘画,素描,画笔,写字,努力工作,(大文字“不想工作”)

Wukong,in the painting studio,painting,sketching,using a paintbrush, writing,and working hard (big text says’ don’t want to work ‘)

得到图像:

ComfyUI实战教程!5分钟部署最新Flux大模型

简单的描述,无需负面提示词,添加 lora 后人物手部,文字等都很好。

总的来说 flux 除了大模型需要强配置的电脑,较小的模型其实效果也错不了多少,对于普通的自媒体应用、方案创意等足够使用了。

另外除了简单的添加 lora 等,熟悉 comfyui 的话,添加放大增加细节的节点,甚至使用 controlnet 等高级应用都可以产生更多更好的效果。如有更好的提示词或者工作流,欢迎各位在评论区留言哦~

给TA打赏
共{{data.count}}人
人已打赏
应用

AI 时代如何做好XR设计?2个实战案例经验复盘

2024-10-12 0:27:01

应用

苹果研究人员质疑 AI 的推理能力:简单数学问题稍作改动就会答错

2024-10-12 8:51:38

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索