实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

本文主要分为两部分:软件篇(如何搭建 Stable Diffusion 环境) 实战篇(如何完成一张立绘)软件部分会为大家推荐一些 B 站优秀的 UP 主的教程,讲解的十分详细。 本文会先带大家了解模型、VAE 和 LORA 这三个概念。而实战部分会以出草图 - 大量 AI 出图 - 局部修改(AI 迭代)- 再次修改,这样一个过程。 AI角色相关干货:一、软件篇 前期需要准备:Stable Diffusion 本地包、Stable Diffusion 模型、VAE 和 LORA。 1. Stable Diffus

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

本文主要分为两部分:

软件篇(如何搭建 Stable Diffusion 环境) 实战篇(如何完成一张立绘)

软件部分会为大家推荐一些 B 站优秀的 UP 主的教程,讲解的十分详细。

本文会先带大家了解模型、VAE 和 LORA 这三个概念。而实战部分会以出草图 - 大量 AI 出图 - 局部修改(AI 迭代)- 再次修改,这样一个过程。

AI角色相关干货:

一、软件篇

前期需要准备:Stable Diffusion 本地包、Stable Diffusion 模型、VAE 和 LORA。

1. Stable Diffusion 本地包

这里推荐秋叶的本地的 Stable Diffusion 包:

当视频在手机上无法加载,可前往PC查看。

2. Stable Diffusion 模型如何下载

https://civitai.com(点右上角眼睛可以开关18+模式 )大多数模型都可以在 C 站找到。

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

3. 模型如何选择

C 站的好处是可以很直接看到效果图,网友的返图。甚至可以点开图片右下角的叹号,可以看到该图的大部分参数,可以直接复制到 Stable Diffusion 使用,大大方便了我们的作图流程。

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

根据原图反向寻找模型。

打开 Stable Diffusion,进入图片信息中,将原图拖入,在右侧就可以看到图片的全部信息。

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

蓝框是提示词,黄框是反向提示词,红框就是我们需要的模型哈希值(即模型编号)将这个编号输入到 C 站的搜索框中,即可根据原图反向找到模型。

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

4. 模型 VAE

VAE 用于增强画面的颜色信息,如果你感觉画面发灰,大多是因为 VAE 的问题导致。大多数模型都会提供 VAE 的下载。(如下图红框)若没有 VAE 的显示,一般使用默认的 { final-prune.vae }

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

5. LORA 是什么

LORA 是用于稳定你的画面元素,例如想让画面出现特定的人物,武器,穿着等,都需要使用相对于的 LORA。可以把 LORA 理解为稳定你画面的某种元素。

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

二、实战篇

1. 草图绘制

这里要注意的点是把你需要的动作和造型尽量勾勒清楚,并且线条要足够深度和足够清晰,不然 Stable Diffusion 是识别不出来的。这里我们可以通过 PS 中的色阶选项将线稿进行拉深。

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

2. 关键词

关键词分为正面,负面两种关键词。正面关键词内容我们可以分为头部,上半身,四肢等逐一表述,较为清晰。把想要的动作(比如手拿着剑),衣服的材质颜色等一一说明,重要内容可以加上括号强调权重。

最后加上一些画面以及风格的补充词(独奏,最高质量,逼真等)。因为模型已经确定了风格,我们不需要加过多的一些风格上的描述词。

而反面关键词则是你不想画面出现的内容,这里分享一组比较万能的负面关键词:(bad-artist:1.0), (loli:1.2), (worst quality, low quality:1.4), (bad_prompt_version2:0.8), bad-hands-5,lowres, bad anatomy, bad hands, ((text)), (watermark), error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, ((username)), blurry, (extra limbs),

3. 生成设置

我们将生成好的描述词复制进去,点击 LOAR 模型,点选想要的模型,在正面描述词里就会自动生成一条关于 LORA 的关键词,将词组最后的数字 1 改为 0.5,降低其权重。

左上方菜单下拉选择需要的模型,本次使用的是国风三大模型,采样器选择 DPM++ Stable DiffusionE Karras,采用步数选择 30,生成批次选择 6

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

4. Control Net 设置及应用

页面滑动至下方点选 Control Net 选项,将线稿拖入其中,点击启用,点选后面的 Pixel Penfect(像素完美),再选择 Allow Preivew,选择 Lineart 这条比较长的选项和相对应的模型。

在 Stable Diffusion 新版本中这里会有直接可以选择的选项,直接选择 Lineart 的选项就好。(注:这里需要下载相对于的 Control Net 的模型) ,点击爆炸小图标,我们就可以看到相对于的生成的线稿了。点击预览图下方的小箭头,线稿的尺寸分辨率就相对于配置上去了。

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

5. 批量生成

点击生成开始批量运算。这里我尝试了一下不同的大模型来生成不同的风格。

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

这里我们可以看到,通过 Control Net 的 Lineart,可以很好的识别到我们草图的动作姿势和衣服造型等,我们可以选择一张较为满意的进行下一步操作。

注:如果电脑配置比较低,可以先将草图压缩下尺寸再拉进来识别线稿,这一步我们主要还是找整体画面的大感觉,对于画面模糊或者局部的 BUG 不用特别注意,会在下面的操作中进行细化补救。

6. 图生图

接下来选择一张我们相对比较满意的图,点击预览下方的图生图按钮进入,进入后可以看到我们相对应的参数都已经自动配置上来了,这里我们需要再做的是重新选择我们的采样器 DPM++ Stable DiffusionE Karras,接着将高度和宽度放大,重绘幅度建议控制在 0.4,采样步数可以适当提高一些,30-50 左右,点击生成,进行下一步的精细化生成。

注:如果电脑配置比较低,高度和宽度就不要一次拉太高。

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

这里我将画面精细化生成后,又在 PS 中调整了一下并裁切了一些需要更多的细节的地方再进行放大重新生成。

7. 细化

最后我们可以重点调整下脸部刻画,这里推荐一个插件 Face Editor,他可以有效修缮脸部崩坏,头发奇怪等。然后再在 PS 中将 BUG 优化。

例如手部结构出错等,我们可以顺着 AI 生成的图像进行优化,或者制作深度图再次进入 AI 进一步生成,这里因人而异,采取最适合自己的方法就好。并调整下画面光影和整体氛围,因为这里只是作为一个小案例,就大概修缮了一下。

实战案例!如何快速通过Stable Diffusion生成角色固定姿势?

可以看到,整体动作和衣服相对于草图的还原度还是比较高的。通过 Control Net 的 Lineart,我们可以精准控制画面人物的动态衣服,使其更符合我们的需求。

以上就是如何快速通过 Stable Diffusion 生成角色固定姿势,如果你有其他快速方法,欢迎在评论区留言。

相关资讯

AI辅助IP形象设计!用 Stable Zero123 生成任意角色的三视图

大家好,这里是和你们一起探索 AI 绘画的花生~ 今天为大家推荐一种用 AI 辅助生成任意角色三视图的方法,用到的是 Stability AI 新出的 Stable Zero123 模型,并结合 Midjourney、Stable Diffusion WebUI、Ps 等工具完成。工作流搭建完成后,用来生成一些简单 IP 形象的三视图非常方便。 相关推荐:一、根据图像生成多视角图 Stable Zero123 是 Stability AI 在前段时间推出的一个新模型,可以根据一张图像生成高质量的 3D 模型,并且支

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前为大家介绍过 AI 绘画工具 Krea,它可以根据手绘的草图实时生成完整的画面,可以让我们更精准地控制图像效果,对电商、产品、游戏概念等设计领域来说非常有帮助。之前为大家推荐过一种在 ComfyUI 中免费实现 AI 实时绘画的方式,今天就再为大家推荐另一种在 Stable Diffusion WebUI 中实现实时绘画的方法。一、插件简介 SD WebUI 的实时绘画功能需要借助一个插件实现,这个插件是上周由 B 站 AI 绘画博主@朱尼酱推出,支持文生图、图

超详细!Stable Diffusion 卡通IP调整姿势保姆级教程

已有 IP 如下所示图左,希望将改成类似图右的姿势,该怎么用Stable Diffusion 实现呢,完整教程来了! 往期教程:首先经过测试 SD 的 Controlnet Openpose 无法识别卡通形象的骨骼,因此需要我们用 Openpose editer 手动添加骨骼图,大致得到以下骨骼图,点击按钮发送到 Controlnet,为了方便后续使用,可以将骨骼图下载下来备用;接下来的思路:首先需要在 SD 中跑出和图 1 形象,这样后续才可以在 SD 中做控制和重绘等工作,并让形象按新骨骼换姿势 得到相似度高的