“选用适当的模型,随随便便出个图,都要比打上一堆提醒词的结果要好。”
事实如此,高质量的模型,能够成倍提升出图质量。目前 CivitAI(俗称 C 站, https://civitai.com/ )是业内比较成熟的一个 Stable Diffusion 模型社区,上面汇集了上千个模型,以及上万张附带提醒词的图像,这大大降低了 Stable Diffusion 的入门学习成本。
SD 相关插件:
以下简要介绍 C 站的一些优秀模型,并在文末结合示例进行应用阐明。
一、C 站模型分类
CivitAI 上的模型主要分为四类:Checkpoint、LoRA、Textual Inversion、Hypernetwork,分别对应 4 种不同的训练方式。
Checkpoint:通过 Dreambooth 训练方式得到的大模型, 特点是出图结果好,但由于训练的是一个完整的新模型,所以训练速度普遍较慢,生成模型文件较大,一般几个 G,文件格式为 safetensors 或 ckpt。
LoRA:一种轻量化的模型微调训练方法,是在原有大模型的基础上,对该模型进行微调,用于输出固定特征的人或事物。特点是对于特定作风特征的出图结果好,训练速度快,模型文件小,一般几十到一百多 MB,需要搭配大模型使用。
Textual Inversion:一种使用文本提醒来训练模型的方法,可以简单理解为一组打包的提醒词,用于生成固定特征的人或事物。特点是对于特定作风特征的出图结果好,模型文件非常小,一般几十 K,但是训练速度较慢,需要搭配大模型使用。
Hypernetwork:类似 LoRA,但模型结果不如 LoRA,需要搭配大模型使用。
模型推荐:Checkpoint > LoRA > Textual Inversion > Hypernetwork
通常情况 Checkpoint 模型搭配 LoRA 或 Textual Inversion 模型使用,可以获得更好的出图结果。
补充:还有一类 VAE 模型,简单理解它的作用就是提升图像色彩结果,让画面看上去不会那么灰蒙蒙,此外对图像细节进行细微调整。
CivitAI 上可以根据不同分类和排序方式,对模型进行筛选和搜索。
打开单个模型页面后,可以查看模型阐明和下载模型。
二、C 站模型推荐
1. Checkpoint
模型存放路径:/stabl-diffusio-webui/models/Stabl-diffusion
①DreamShaper
模型类型:Checkpoint 模型
下载地点: https://civitai.com/models/4384/dreamshaper
模型阐明:胜任多种作风(写实、原画、2.5D 等),能生成很棒的人像和风景图。
②Lyriel
模型类型:Checkpoint 模型
下载地点: https://civitai.com/models/22922/lyriel
模型阐明:胜任多种作风,能实现顶级的光影结果和人物风景细节。
参数推荐:DPM++2M Karras,Clip skip 2 Sampler,Step25-35+
③Protogen
模型类型:Checkpoint 模型
下载地点:
https://civitai.com/models/3627/protgenv22-aime-offiial-release
https://civitai.com/models/3666/protgenx34-photoreaism-offiial-release
模型阐明:Protogen 由多个不同的优秀模型融合而来,胜任多种作风。Protogen v2.2 偏向数字绘画(触发词:modelshoot style);Protogen x3.4 更偏向真人(触发词:modelshoot style,analog style,mdrny-v4 style,nousr robot)。
在 Protogen 模型中,可以通过提醒词精确控制相机位置和人物动作来生成不同角度和动作的人物图片,例如:侧面(from_side:1.3),上面(from_above:1.3),后面(from_behind:1.3),下面(from_below:1.3),手放头部(hand_on_head:1.2),坐着(sitting:1.2)
④Dreamlike
模型类型:Checkpoint 模型
下载地点:
https://civitai.com/models/1274/drealike-diffsion-10
https://civitai.com/models/3811/drealike-photreal-20
模型阐明:Dreamlike diffusion 1.0 偏向插画(触发词:dreamlikeart);Dreamlike photoreal 2.0 偏向真实照片。
⑤Realistic vision
模型类型:Checkpoint 模型
下载地点: https://civitai.com/models/4201/reaistic-ision-v20
模型阐明:能很好的实现极具真实感的人物和环境塑造,还原真实世界作风。
触发词:analog style、modelshoot style
⑥Counterfeit
模型类型:Checkpoint 模型
下载地点: https://civitai.com/models/4468/counerfeit-v25
模型阐明:高质量二次元、人物、风景模型。需要额外加载 VAE 模型,提升色彩表现。 https://huggingface.co/gsdf/Couterfeit-V2.5/blob/main/Couterfeit-V2.5.vae.pt (与模型放同一文件夹)
⑦MeinaMix
模型类型:Checkpoint 模型
下载地点: https://civitai.com/models/7240/meinamix
模型阐明:高质量二次元、人物模型。
⑧DDicon
模型类型:Checkpoint 模型
下载地点: https://civitai.com/models/38511/ddicon?modelVersionId=44447
模型阐明:一款生成 B 端作风元素的模型,需要结合对应版本的 DDicon lora 使用。V1 版本细节多,v2 版本更简洁,使用时搭配 LoRA 模型 DDICON_lora( https://civitai.com/models/38558/ddiconlora )。
触发词:DDicon
⑨Product Design
模型类型:Checkpoint 模型
下载地点: https://civitai.com/models/23893/product-design-minimalism-eddiemauro
模型阐明:一个工业产品设计模型。触发词:3d product render、product render
⑩Isometric Future
模型类型:Checkpoint 模型
下载地点: https://civitai.com/models/10063/isometric-future
模型阐明:一个等距微缩模型。
触发词:isometricfuture
⑪Vectorartz Diffusion
模型类型:Checkpoint 模型
下载地点: https://civitai.com/model/95/vectorartz-diffusion
模型阐明:矢量作风模型。
触发词:vectorartz
⑫Samdoesarts Ultmerge
模型类型:Checkpoint 模型
下载地点: https://civitai.com/model/68/samdoesarts-ultmerge
模型阐明:Samdoesarts 艺术作风模型。
触发词:samdoesarts style
⑬Flonix MJ Style
模型类型:Checkpoint 模型
下载地点:https://civitai.com/models/6488/flonix-mj-style
模型阐明:Flonix MJ 插画作风。
⑭ReV Animated
模型类型:Checkpoint 模型
下载地点: https://civitai.com/models/7371?modelVersionId=46846
模型阐明:适用于动漫人物或场景的 2.5D 或 3D 绘制模型 。
⑮architectural design sketches with markers
模型类型:Checkpoint 模型
下载地点: https://civitai.com/models/34384/architectural-design-sketches-with-markers
模型阐明:建筑设计草图模型 。触发词:marker painting、handsketch
⑯XSarchitectral-InteriorDesign-ForXSLora
模型类型:Checkpoint 模型
下载地点:https://civitai.com/models/28112/xsarchitectural-interiordesign-forxslora
模型阐明:室内设计模型,建议配合 LoRA 使用: https://civitai.com/models/25383/xsarchitectural-7modern-interior。
触发词:verrieres、daylight、indirect lighting、ad magazine、8k、mies van der rohe、encompassing the entire building、cinematic lighting、volumetric lighting、epic composition、photorealism
2. LoRA
模型存放径:/stable-diffusion-webui/models/Lora
①blindbox
模型类型:LoRA 模型
下载地点: https://civitai.com/models/25995/blindbox?modelVersionId=32988
模型阐明:可生成盲盒作风的模型,使用时主模型建议选 ReV Animated。
触发词:full body, chibi
②DDicon_lora
模型类型:LoRA 模型
下载地点: https://civitai.com/models/38558/ddiconlora
模型阐明:v1 和 v2 版本建议对应使用,v1 版本细节丰富复杂,v2 版本细节简化。
使用时搭配 DDicon 主模型 https://civitai.com/models/38511/ddicon?modelVersionId=44447
触发词:DDicon
③Bilgewater
模型类型:LoRA 模型
下载地点: https://civitai.com/models/23344?modelVersionId=27879
模型阐明:场景作风模型。
触发词:bilgewater
③剪纸
模型类型:LoRA 模型
下载地点: https://civitai.com/models/14892
模型阐明:剪纸作风模型。
④Anime Lineart
模型类型:LoRA 模型
下载地点: https://civtai.commodels/16014/anime-lineart-style
模型阐明:线稿画风模型。
触发词:lineart, monochrome
⑤Concept Scenery Scene
模型类型:LoRA 模型
下载地点: https://civitai.com/models/23682/conceptsceneryscenev2
模型阐明:风景场景模型。
⑥Howls Moving Castle
模型类型:LoRA 模型
下载地点: https://civitai.com/models/14605?modelVersionId=19998
模型阐明:风景场景模型。
⑦Makoto Shinkai
模型类型:LoRA 模型
下载地点:https://civitai.com/models/10626/makoto-shinkai-substyles-style-lora
模型阐明:新海诚画风模型。
⑧Studio Ghibli Style
模型类型:LoRA 模型
下载地点: https:/civita.com/odels/6526/studio-ghibli-style-lora
模型阐明:吉卜力作风模型。
⑨Airconditioner
模型类型:LoRA 模型
下载地点: https://civitai.com/models/22607/loconlora-airconditioner-style
模型阐明:适合画城镇,荒野,鲜花,小清新质感。
⑩Stamp_v1
模型类型:LoRA 模型
下载地点: https://civitai.com/models/15629/stampv1
模型阐明:图标 logo 作风。
⑪Vecor Graphics Art Style
模型类型:LoRA – LYCORIS 模型(LYCORIS 安装方式可参考 https://mnya.tw/cc/word/1990.html )
下载地点:https://civitai.com/models/34321/vector-graphics-art-style-no-lineart
模型阐明:矢量图形作风。
触发词:flat color
⑫Miniture world style 微缩世界作风
模型类型:LoRA – LYCORIS 模型
下载地点: https:/civiai.com/models/28531/miniature-world-style
模型阐明:微缩世界作风模型。
触发词:mini\(ttp\)、miniature、isometric、landscape
⑬ligne claire style
模型类型:LoRA 模型
下载地点:https://civitai.com/models/5406/ligne-claire-stylecogecha
模型阐明:焦茶画风。
⑭Gacha splash LORA
模型类型:LoRA 模型
下载地点: https://civitai.com/models/13090/gacha-splash-lora
模型阐明:带背景的立绘作风。
⑮沁彩 Colorwater
模型类型:LoRA 模型
下载地点: https://civitai.com/models/16055/colorwater
模型阐明:水彩作风模型。
⑯moffmachi_style
模型类型:LoRA 模型
下载地点: https://civitai.com/models/23563/lohamoffmachi-style
模型阐明:卡通格。
3. Tetual Inversion
模型存放路径:/stable-diffusion-webui/embeddings
①SamDoesArts
模型类型:TEXTUAL INVERSION
下载地点: https://civitai.com/models/1247/samdoesarts-embedding-1
模型阐明:SamDoesArt 画风。触发词:SamDoesArt1
②RFKTR’s Plastic Style
模型类型:TEXTUAL INVERSION
下载址: http://civitai.com/models/4512/rfktrs-plastic-style
模型阐明:塑料作风。触发词:RFKTR_plastic
③Adventure Diffusion
模型类型:TEXTUAL INVERSION
下载地点 https://civitai.com/models/6841/adventure-diffusion
模型阐明:原神作风。
触发词:advntr
④Neon Diffusion
模型类型:TEXTUAL INVERSIO
下载地点: https://civitai.com/models/6016/neon-diffusion
模型阐明:赛博朋克作风。
触发词:eonn
⑤Inkpunk768
模型类型:TEXTUAL INVERSION
下载地点: https://civitai.com/models/1288/inkpunk768
模型阐明:墨水朋克作风。
触发词:InkPunk768
⑥evreka
模型类型:TEXTUAL INVERSION
下载地点: https://civitai.com/models/3966/evreka1-5
模型阐明:平面插画作风。
触发词:evreka15
⑦Coloring Book Style
模型类型:TEXTUAL INVERSION
下载地点: https://civitai.com/models/49040/coloring-book-style
模型阐明:黑白稿作风。
触发词:coloring-book-style
⑧PlanIt! a documentation
模型类型:TEXTUAL INVERSO
下载地点:https://civitai.com/models/4775/planit-a-documentation-embedding
模型阐明:阐明书作风。
触发词:PlanIt
⑨Style of HOPA Games
模型类型:TEXTUAL INVERIO
下载地点: https://civitai.com/models/18424/style-of-hopa-games-landscapes-and-scenery-concept-art-in-style-of-video-games-hoppagames
模型阐明:游戏场景作风。
触发词:hoppagames
⑩Autumn Style
模型类型:TEXTUAL INVESION
下载地点:https://civitai.com/models/1998/autumn-style
模型阐明:晚秋作风。
触发词:Style-Autumn、Style-Autumn-neg
⑪Glorious Style
模型类型:TEXTUAL INVERION
下载地点: https://civitai.com/models/2110/glorious-style
模型阐明:宏伟场景作风。
触发词:Style-Glorious、Style-Glorious-neg
⑫21charturnerv2
模型类型:TEXTUAL INVERSION
下载地点:https://civitai.com/models/3036?modelVersionId=9857
模型阐明:三视图作风。
触发词:21charturnerv2
⑬Style Paint Magic
模型类型:TEXTUAL IVERSIN
下载地点:https://civitai.com/models/18052/style-paint-magic
模型阐明:油漆画作风。
触发词:style-paintmagic
⑭Double Exposure for SD 2.x
模型类型:TEXTUAL NVERSION
下载地:https://civitai.com/models/2386/double-exposure-for-sd-2x
模型阐明:图像重叠作风。
触发词:dblx
⑮cartoonish_doll
模型类型:TEXTUAL INVERSION
下载地点:https://civitai.com/models/1618/cartoonishdoll
模型阐明:卡通娃娃作风。
触发词:cartoonish_doll
⑯Style-Info: An embedding for infographic style art
模型类型:TEXTUL INERION
下载地点:https://civitai.com/models/5271/style-info-an-embedding-for-infographic-style-art
模型阐明:信息图作风。
触发词:Style-Info
三、C 站模型应用示例
示例 1:制作一个卡通小公仔形象
1. 模型下载与装载
所需模型:Checkpoint 模型(ReV Animated),Lora 模型(Blindbox)
模型下载方式一:下载至本地(适合本地部署)
下载 LoRA 模型: https://civitai.com/models/25995/blindbox?modelVersionId=32988(存放至本地 Lora 模型文件夹 /stable-diffusion-webui/models/Lora)
下载 Checkpoint 模型: https://civitai.com/models/7371?modelVersionId=46846(放至本地 Checkpoint 模型文件夹 /stable-diffusion-webui/models/Stable-diffusion)
模型下载方式二:下载至云盘(适合云端部署)
一些云端 Stable Diffusion WebUI 服务已经整合了一些优秀大模型,可以直接选择相应模型版本运行,在此基础上再加载其它模型。
1)运行所需大模型版本
例如本次实例中,我们要选 Rev animted 作配套大模型:进入 https://github.com/camenduru/stable-diffusion-webui-colab ,选择:rev_animated_webui_colab 模型版本,连接启动 WebUI。
2)云端下载模型
进入 WebUI 界面后,打开 CivitAI 面板,选择要查找的模型类型,搜索需要的模型,并选择相应模型版本,点击下载模型。
切换至 Colab 界面,检查模型是否下载成功,并存放至相应目录。
模型装载:模型文件下载存放至相应目录后,回到 WebUI 界面,点击刷新按钮,加载相应模型。
2. 设置参数与提醒词
除了手动输入提醒词,设置参数外,还有一个比较简便的方式:直接从 CivitiAI 作品图中一键复制参数至 WebUI 中,再进行调整。
提醒词与参数设置:
Pompt:, (masterpiece), (best quality), (ultra-detailed), (full body:1.2), (simple background, white background:1.3), chibi, simple body, melting heart, purple leaves, purple hat, vivid color
Negative Prompt:(worst quality, low quality:1.4), lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7.5, Size: 512×768
3. 设置 ControlNet,定制专属公仔形象
在这个实例中,我们要把一个平面卡通形象制作成一个 3D 公仔形象,因此需要通过 ControlNet 的 lineart 和 depth 模型,构建公仔轮廓,再叠加盲盒模型定制出专属公仔形象。ControlNet 教程可查看:
示例 2:制作一张小清新海报
1. 模型下载与装载
所需模型:Checkpoint 模型(mix-pro-v3-non-ema-bf16),Lora 模型(Airconditioner、SamDoesArts,本次示例加载两个 Lora 模型,以提画面和人物结果)
下载 LRA 模型:
https://civitai.com/models/22607/loconlora-airconditioner-style
https://civitai.com/models/6638?modelVersionId=7804
下载 Checkpoint 模型:https://huggingface.co/swl-models/mix-pro-v3/tree/main (如果 CivitAI 上没有所需模型,可以去 huggingface 上看看 https://huggingface.co/ )
2. 海报画面预设
这里我简单在白纸上对海报主体内容打一个草稿,拍照并导入 ControlNet 中用 Scribble 涂鸦模型进行轮廓提取。
3. 设置参数与提醒词,生成主体画面
在这个示例中,我加载了两个 Lora 模型,其中 Airconditioner 模型权重设置的大些,用来控制整体画面的小清新作风,SamDoesArts 模型权重小些,用来提升人物结果。
提醒词与参数设置:
Prompt:(masterpiece), best quality, a female doctor standing along the flowers, white lab coat, short sleeves, stethoscope, beautiful face, short hair, smile, outdoors, sky, cloud, day, black hair, scenery, flower, grass, blue sky, scenery, leaf, wide shot, <lora:[LoRA] Airconditioner Style:0.7>,
Negative Prompt:nsfw,(watermark),sketch, duplicate, ugly, huge eyes, text, logo, monochrome, worst face, (bad and mutated hands:1.3), (worst quality:2.0), (low quality:2.0), (blurry:2.0), horror, geometry, bad_prompt_v2, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), cron brai, ((2girl)) (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 512×768
4. 高清化,并导入 PS 进行后期处理
生成后的图片,导入高清化模块进行等比高清放大,再进行 PS 处理后输出海报。
最后总结下创作思路: