大家好,这里是和你们一起探索 AI 的花生~
继 SD 3 Medium、Kolors 之后,开源领域又新增了一款文本-图像生成模型 Flux.1。它由 Stability AI 前核心成员主导开发,模型质量远超 SD 3,甚至与闭源的 Midjourney v6.1 模型不相上下,成为了 AI 文生图模型的新标杆,也给开源 AI 绘画带来了新的发展活力。今天就一起来看看 Flux.1 模型的特点和安装使用方法。
相关推荐:
一、Flux.1 简介
Black Forest Labs 官网: https://blackforestlabs.ai/
Flux.1 是由 Black Forest Labs 黑森林实验室推出的文生图模型套件,说到 Black Forest Labs 大家可能觉得陌生,它是 Stability AI 前核心成员 Robin Rombach 创立的新团队,成员也多来自 Stable Diffusion 的原始开发团队,因此具备强大的生成式模型开发能力。
Black Forest Labs 目前已经获得了 3200 万美元的融资,致力于开发和推进用于图像、视频等媒体的最先进的生成式深度学习模型,并建立新的行业标准,FLUX.1 模型套件就是该团队实现目标的第一步。
之所以称为 “套件”,是因为 Flux.1 一共有 3 个不同的的变体版本,分别拥有不同的性能,适用于不同的场景:
① FLUX.1 [pro]
闭源模型。具备最佳性能,包括最先进的提示跟随能力、视觉质量、图像细节和输出多样性。可以在注册官方 API 申请访问权限,同时支持企业定制。
② FLUX.1 [dev]
开源模型,不可商用。直接从 FLUX.1 [pro] 蒸馏而来,具备相似的图像质量和提示词遵循能力,但是更高效。
③ FLUX.1 [schnell]
开源模型,可商用。专门为本地开发和个人使用量身定制,生成速度最快,内存占用也最小。
Flux .1 的训练参数高达 120 亿,远超 SD3 Medium 的 20 亿。据官方介绍,FLUX.1 [pro] 和 [dev] 在图像质量、提示词跟随、尺寸适应、排版和输出多样性等方面超越了 Midjourney v6.0、DALL·E 3 (HD) 和 SD3-Ultra 等流行模型,定义了新的图像合成的最先进水平。
通过前面的图像,我们已经可以直观感受到 Flux .1 模型强大的图像生成能力。它的性能优于 SD3 是显而易见的事实,毕竟 Flux .1 在生成人物躺倒姿势的时候不会崩坏。加上二者从本质上说是同一个团队开发的,因此很多人都认为 Flux .1 才是 “真正的 SD3 ”。
我也用 Midjourney 最新的 v6.1 模型与 FLUX.1 Pro 进行了出图对比。虽然 FLUX.1 在艺术性和风格多样性上不及 Midjourney 丰富,但在清晰度、细节逼真度,复杂场景生成等方面与最新的 v6.1 模型不相上下,甚至在一些方面的表现超过了 v6.1。
尤其是在复杂英文文本生成、多人场景、提示词理解遵循等方面,FLUX.1 Pro 的表现会明显比 v6.1 好。Pro 可以准确处理多人场景,面部、手部细节不会扭曲崩坏;生成超长文本的时候,无论是内容还是排版都非常标准到位;还能有效防止提示词泄露的情况发生,准确生成画面内容。
二、 Flux.1 本地部署
在三款模型中,[dev] 和 [schnell] 都是开源模型,支持本地部署,ComfyUI 也跟进支持了。由于 [schnell] 的质量相对较差,所以目前最受欢的是 [dev] 版本。下面介绍一下如何在 ComfyUI 中安装使用它(相关模型资源可在云盘内下载):
注意:想顺畅使用此模型最好有 16G 的显存,8G 或 12G 虽然也可以运行,但是生成速度较慢。
操作步骤:
① 安装 ComfyUI ,并更新到最新版本;
② 下载 ae.sft 模型,安装到 ComfyUI/models/vae 文件夹,为方便识别,可以将其改名为 flux_ae.sft;
③ 下载 flux1-dev.sft 文件,安装到 ComfyUI/models/unet 文件夹。如果你的显存比较小,可以下载 ComfyUI 官方发布的 flux1-dev-fp8.safetensors 模型文件,放到 checkpoints 大模型所在的文件夹;
④ 下载 clip_l.safetensors 和 t5xxl_fp8_e4m3fn.safetensors 文件,安装到根目录的 ComfyUI/models/clip 文件夹中。如果你安装过 SD 3 Medium 模型,那么这两个文件你可以已经具备了,不需要再次下载。
模型安装好之后,还需要对电脑系统和 ComfyUI 做出一些设置:
在电脑系统设置中,将让 windows 自动管理虚拟内存,这样可以最大限度调用资源;
在 ComfyUI 启动器界面 – 高级选项中,开启 –lowvram 模式;
运行的时候,尽量关闭其他占资源的应用,以免出现内存不足的情况。
我使用的是 ComfyUI 官方分享的 flux1-dev-fp8 模型,工作流也是最新的简化工作流( 网盘内下载 flux_dev_example.png,拖入 ComfyUI 界面加载),只需要加载一个大模型就能使用,更加方便。我的显存是 4060 8G,生成一张 1024*1024 的图像用了将近 6 分钟的时间,大家可以做一个参考。
此外,之前还有一个更复杂的工作流,使用的模型是一样的,但是可以手动设置 unet、clip、vae 等选项 ,具体教程可以看着这里:
三、在线使用
① Replicate 在线试玩: https://replicate.com/black-forest-labs
② Fal 在线试玩: https://fal.ai/models
如果你的电脑配置不足以支持 FLUX.1 dev 的本地运行,目前也有网站可以让我们免费体验其生成效果。一是 Replicate,Black Forest Labs 官方提供了 FLUX.1 全部三款模型的免费试用途径,支持自定义提示词、图像尺寸等,生成速度非常快;二是 Fal,也支持全部三款模型的生成体验, 新用户有免费试用额度。
那么以上就是最新开源文生图模型 Flux.1 的相关介绍,它展现出来的能力无疑是目前最强大的, 只是对配置的要求有点高,对普通用户来说使用有困难。如果未来 Flux.1 的生态可以进一步发展起来,拥有更多微调模型和拓展插件,一定可以将开源 AI 绘画领域带到一个新的高度。
文内的资源都可以在云盘内下载。ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。