AI在线 AI在线

Stability AI 带着 SD 3.5 回来了!修复重大 Bug, 可免费商用!

作者:夏花生
2024-10-24 08:08
大家好,我是花生~. 就在昨天,知名开源大模型平台 Stability AI(以下简称 SAI)突然发布了新的 Stable Diffusion 3.5 模型。 本以为在经历 SD 3 发布失利、核心成员出走、Flux 模型发布等一系列冲击后,SAI 会元气大伤,没想到原来是在默默憋大招。

Stability AI 带着 SD 3.5 回来了!修复重大 Bug, 可免费商用!

大家好,我是花生~

就在昨天,知名开源大模型平台 Stability AI(以下简称 SAI)突然发布了新的 Stable Diffusion 3.5 模型。本以为在经历 SD 3 发布失利、核心成员出走、Flux 模型发布等一系列冲击后,SAI 会元气大伤,没想到原来是在默默憋大招。

这次发布的 SD 3.5 模型不仅在很多方面都有了优化提升,而且全部免费可商用,算是给开源社区的发展注入了一针新的强心剂,下面一起来看看它的特点和使用方法吧~

了解 6 月份发布的 SD 3 模型:

最强开源模型来了!一文详解 Stable Diffusion 3 Medium 特点及用法(附模型资源包)

大家好,我是花生~ 备受期待的 Stable Diffusion 3(以下简称 “SD3”)终于向公众开放了,作为 Stability AI 迄今为止最先进的文本到图像开源模型,SD3 在图像质量、文本内容生成、复杂提示理解和资源效率方面有了显著提升,今天就为大家详细介绍一下 SD3

阅读文章 >

一、SD 3.5 模型简介

此次的 SD 3.5 模型总共包括 3 个型号,分别是 :

① SD 3.5 Large:拥有 80 亿个参数,在图像质量和提示词准确性方面表现优异,是 SD 系列中最强大的模型,适合 1 兆像素分辨率的专业用例。

② SD 3.5 Large Turbo:Large 模型的精炼版本,只需 4 个步骤即可生成高质量图像,因此出图质量会比 Large 快,同时提示词准确性依旧能保持在不错的水平。

③ SD 3.5 Medium(29 号正式发布):该模型拥有 25 亿个参数,适用于消费类硬件,平衡了图像质量和模型易用性,是更适合一般用户的性价比之选。

Stability AI 带着 SD 3.5 回来了!修复重大 Bug, 可免费商用!

从官方发布的示例图,以及网上用户发布的测试图来看,SD 3.5 的图像生成质量的确不错。SD 3 时就具备的特性,比如高清细节、准确的提示词理解、 优秀的文本生成排版能力等,在 SD 3.5 中依旧保有并表现更好了,另外 SD 3.5 还支持更包容的内容输出和更多样的风格。

比如之前的 SD 模型默认以白色人种为主,现在则可以轻松能生成不同肤色的人;而且只需修改关键词,SD 3.5 就能生成各种艺术风格的图像,包括 3D、摄影、卡通、线条艺术、赛博朋克等,美学质感表现非常亮眼, 甚至不输 Midjourney 和 Flux.1。

Stability AI 带着 SD 3.5 回来了!修复重大 Bug, 可免费商用!

另外 SD 3.5 修复了 SD 3 模型的一个重大 bug —— 无法生成 “躺在草地上的女孩” 。这点大家应该有印象,SD 3 在发布后,很快被人发现在生成 “A girl lying on the grass” 时,人物的躯体四肢会出现明显的扭曲畸形,相关图像也成了一时广为流传的 AI 梗图,让 SD3 的处境非常尴尬。

也许是为了一雪前耻,在此次介绍更新的官方博客中,第一张放的就是一个女性仰面躺在草地上的图像,我第一眼看到的时候差点笑出声,看来官方也是知道大家对 SD3 的吐槽的。 不过在博客中,官方也提到之所以没有立刻对 SD3 采取修复措施,是决定花时间进一步开发一个新版本,于是 SD 3.5 就诞生了,SD 系列也算是能接上原有的发展路径了。

Stability AI 带着 SD 3.5 回来了!修复重大 Bug, 可免费商用!

最最重要的是,此次发布的三个模型都有非常宽松的使用许可 —— 年收入总额低于 100 万美元(或等值当地货币)的组织或个人免费用于研究、非商业和商业用途。也就是对于个人和中小公司而言,SD 3.5 的三个模型可以自由免费商用,果然免费开源还是得看 Stability AI。

开源社区里目前对 SD 3.5 和 Flux Dev 的生成能力做了多次对比,在质感细节、风格多样性上 SD 3.5 占有优势,但生成手指、脚趾、姿势动作时远不及 Flux 准确自然。但总体来说还是 SD 3.5 比 SDXL 和 SD 3 好很多,加上模型是开源可商用这点,相信之后会和 SDXL 一样,激发出很多高质量的微调模型。

二、ComfyUI 本地部署

官方目前已经在 Huggingface 上开源了 SD 3.5 Large 和 Large Turbo 两款模型,ComfyUI 第一时间就进行了支持。另外 ComfyUI 官方自己还发布了一款 sd3.5_large_fp8_scaled 模型,适合低显存(8G)用户。下面分别介绍三款模型的基础使用。

① SD 3.5 Large

模型下载: https://huggingface.co/stabilityai/stable-diffusion-3.5-large (文末有资源包与工作流)

安装方法:

  1. 将 ComfyUI 更新到最新版本;
  2. 将 SD 3.5 Large 放到 comfyui 根目录的 models/checkpoint 文件夹;
  3. 下载 Clip_g.safetensors、Clip_l.safetensors 和 t5xxl_fp8.safetensors,放到 models/clip 文件夹;
  4. 将 SD3.5L_example_workflow.json 工作流文件拖入 ComfyUI 界面;

工作流使用注意事项:

  1. Large 模型适合显存 16G 及以上的用户。
  2. SD 3.5 Large 和 Turbo 模型本身不包含文本编码器/CLIP 权重,因此需要单独加载。在正式生成前,注意检查自己是否安装比正确选择了这些模型。
  3. 图像分辨率需要是 64 的倍数;CFG 参数推荐 4.5-5.5;采样器 DPM++2M;生成步数 30-40。

Stability AI 带着 SD 3.5 回来了!修复重大 Bug, 可免费商用!

② SD 3.5 Large Turbo

模型下载: https://huggingface.co/stabilityai/stable-diffusion-3.5-large-turbo/tree/main (文末有资源包工作流)

使用方法:

  1. 更新 ComfyUI,将 SD 3.5 Large Tubro 放到 comfyui 根目录的 models/checkpoint 文件夹;
  2. 下载 Clip_g.safetensors、Clip_l.safetensors 和 t5xxl_fp8.safetensors,放到 models/clip 文件夹;
  3. 将 SD3.5L_Turbo_example_workflow 工作流文件拖入 ComfyUI 界面;
  4. 采样器步数改为 4,cfg 改为 1.2 -1.6,其余用法和 Large 一样

Stability AI 带着 SD 3.5 回来了!修复重大 Bug, 可免费商用!

③ SD 3.5 Large Fp8

模型下载: https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/tree/main (文末有资源包与工作流)

Fp8 模型融合了 Clip 模型,因此和普通 SD 1.5 模型的用法是一样的,8G 显存可用:

  1. 更新 ComfyUI,下载 sd3.5_large_fp8_scaled 模型放到根目录的 models/checkpoint 文件夹;
  2. 生成步数 20,采样器 DPM++2M。

Stability AI 带着 SD 3.5 回来了!修复重大 Bug, 可免费商用!

除了以上三个模型,SAI 还将于 10 月 29 日发布 SD 3.5 Medium 模型,并且后续还将推出对应的 Controlnet。

自 Flux dev 模型发布后,开源社区的目光就从 SD 系列转移到了 Flux 上,各类微调模型迅速涌现,已然有后来居上的趋势。 而此次 SD 3.5 的发布则可以视为是 SAI 发出的反攻信号,要重新夺回自己的开源社区的领导地位。

毕竟 Flux dev 不可商用,而且对显存要求也高,一定程度上限制了它的进一步发展应用。而 SD 3.5 在模型训练阶段就为后期微调做了兼容,再加上模型质量明显提升、可免费商用、消费级硬件适用等优势,肯定能在开源社区中发展、衍生出更多优质模型,重现 SDXL 发布时的繁荣景象。

那么以上就是本期为大家介绍的 SD 3.5 的相关内容,如果对你有帮助的话记得点赞、收藏、评论支持一波,我会有更动力为大家推荐新的干货内容~

文内的资源都可以在云盘内下载。ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。

想了解更多 AI 新鲜资讯的话,欢迎关注 优设 AI 自学网 和优设微信视频号,每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握 AI 发展动态。也欢迎大家扫描下方的二维码加入“优设 AI 知识交流群”,和我及其他设计师一起交流学习 AI 知识~

Stability AI 带着 SD 3.5 回来了!修复重大 Bug, 可免费商用!

相关链接:

  1. https://stability.ai/news/introducing-stable-diffusion-3-5
  2. https://comfyanonymous.github.io/ComfyUI_examples/sd3/?ref=blog.comfy.org

推荐阅读:

2024年10月工具合集!6款不容错过的免费AI神器

大家好我是花生~ 今天我们继续 AI 效率神器的第 12 期,一起来看看吧~ 上期回顾: 一、你能甄别 AI 视频吗?

阅读文章 >

Flux.1 生态最新梳理!新增 4 款新模型,支持 Controlnet 和 Lora (附模型/工作流文件)

大家好我是花生~ 绘画模型 Flux.1 自推出后,以其超强的图像生成能力迅速受到广泛关注,一跃成为新一代的 AI 文生图模型标杆。

阅读文章 >

相关资讯

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前为大家介绍过 AI 绘画工具 Krea,它可以根据手绘的草图实时生成完整的画面,可以让我们更精准地控制图像效果,对电商、产品、游戏概念等设计领域来说非常有帮助。之前为大家推荐过一种在 ComfyUI 中免费实现 AI 实时绘画的方式,今天就再为大家推荐另一种在 Stable Diffusion WebUI 中实现实时绘画的方法。一、插件简介 SD WebUI 的实时绘画功能需要借助一个插件实现,这个插件是上周由 B 站 AI 绘画博主@朱尼酱推出,支持文生图、图
1/23/2024 6:55:37 AM
夏花生

新模型 Stable Diffusion 3 与 Stable Cascade 全面解析

大家好,我是花生~ 最近 Stability AI 又接连推出了 2 个新的模型:Stable Diffusion 3 和 Stable Cascade,在图像生成效率和质量上比半年前推出的 SDXL 1.0 有了明显提升,今天就为大家介绍一下 2 款新模型的特点和用法。 :一、Stable Diffusion 3 简介 官方介绍: 加入等候名单: 2 月 22 号,Stability AI 发布了新模型 Stable Diffusion 3(下面简称为 SD 3.0),这也是 Stable Diffusion
2/26/2024 8:13:29 AM
夏花生

Stable Diffusion 3震撼发布,采用Sora同源技术,文字终于不乱码了

Stable Diffusion 3 和 Sora 一样采用了 diffusion transformer 架构。继 OpenAI 的 Sora 连续一周霸屏后,昨晚,生成式 AI 顶级技术公司 Stability AI 也放了一个大招 ——Stable Diffusion 3。该公司表示,这是他们最强大的文生图模型。与之前的版本相比,Stable Diffusion 3 生成的图在质量上实现了很大改进,支持多主题提示,文字书写效果也更好了。以下是一些官方示例:提示:史诗般的动漫作品,一位巫师在夜晚的山顶上向漆黑的
2/23/2024 11:23:00 AM
机器之心
  • 1