相信我们很多人在看过动漫/动画后，都想看一看二次元世界中的自己长什么样子，那今天就以客户照片为例，说说我们如何用 Stable Diffusion，让 AI 帮我们将真实照片转成一个绝美二次元少女，Let’s do it~
更多SD干货：
客户原图照片下列，希望转成二次元甜美少女。
1. 打开 Web UI ,用 Tag 反推，辅助书写关键词
用 Tag 反推中传入照片，点击反推失掉红框中大致的画面内容描述词
1girl, solo, looking up, brown hair, belt, long hair, arm up, realistic, midriff, brown eyes, outdoors, pants, tree, striped shirt, white pants, shirt, teeth, day, open mouth, flower, sunlight
1 girl，solo，抬头，棕色头发，腰带，长发，手臂向上，逼真，腹部，棕色眼睛，户外，裤子，树，条纹衬衫，白色裤子，衬衫，牙齿，白天，张开嘴，花，阳光
调整权重顺序，结合 Sd 通用画质关键词，添加我们想要的内容，失掉下列正向关键词
((masterpiece)),best quality,Very rich facial details,1 girl, solo, Smile,Look up, Arms up,(Abdomen:1.3),Long hair,Brown hair, White-blue long sleeves, Black belt, White trousers,(Cyan trees:1.2),Lifelike,Summer day, Outdoor, Sunshine, Tree, During the day,
杰作，最好的质量，非常丰富的面部细节，1 个女孩，独身，微笑，抬头，手臂向上，（腹部：1.3），长发，棕色头发，白蓝色长袖，黑色腰带，白色裤子，（青色树木：1.2），Lifelike，夏日，户外，阳光，树，白天，
负面提示词输入通用模板，将 2 个处理手的 embedding badhand 和 easynegative 放在最前面，并给（badhand:1.5）增加 1.5 的权重，失掉下列
(badhandv4:1.5), easynegative，(worst quality,low quality:1.4),3D face,greyscale,monochrome,cropped,lowres,text,jpeg artifacts,signature,watermark,usename,blurry,artist name,trademark,watermark,title,multiple view,Referece sheet,curvy,plump,fat,muscular female,nsfw,
2. 采用模型，尝试关键词
我的 web ui 中二次元画风模型有十几个，我们先随意采用 1 个 anything 模型来尝试关键词，配合 anything 的 vae，clip 跳过层配置 2，重要配置下列所示
3. 利用 Controlnet 的 openpose full 处理器与模型，检测全身骨骼来负责姿势
重要配置下列图所示，完成配置后，点击 4 爆炸小按钮，失掉右边黑色骨骼图：
点击步骤 5 能看骨骼图与人物的对应情况，我们能发现 openpose 处理后的骨骼不准确，腿部骨骼缺失，右手手指没有骨骼
利用 openpose 的骨骼编辑插件，重新添加骨骼，失掉新骨骼下列，然后 send pose to controlnet 发送骨骼到 controlnet
注：openpose 的骨骼编辑插件利用教程有一点复杂，可以在 B 站看一个教程后再开始操作
4. 失掉新骨骼后，第一个 controlnet 预处理器采用“无”，模型采用 open pose
5. 第二个 controlnet 预处理器采用 SoftEdge_pidnet，模型采用 SoftEdge，配置下列所示
SoftEdge 模型的作用是软边缘检测，可以检测到原图边缘轮廓信息，失掉处理结果下列图
6. 完成以上所有配置，点击「生成」进行第一次试跑，尝试模型与 controlnet 的负责动机，结果下列
观察图片能够发现人物的姿势与外形轮廓负责还不错，但出现的问题是：
人物服装色彩负责不准确
人物面部与手部完全糊掉，没有细节，模糊一方面与尺寸太小 分辨率不高有关，另一方面是骨骼细节的模糊导致，那接下来将一步步解决以上问题
7. 首先解决色彩负责，可以利用 SD 色彩负责插件「cut off」
复制带色彩的关键词（ Brown hair, White-blue long sleeves, Black belt, White trousers,(Cyan trees:1.2),）去掉后缀名词只保留色彩，失掉下列色彩关键词
再次「生成」跑图尝试，失掉下列结果
能够看到加入「cut off」动机还不错，第 2 张的色彩大部分是准确的，各色彩区别的很开 没有交错模糊；当然如果还不准确，可以适当提高红框权重到 1 进行尝试
8. 接着解决面部崩坏的问题
利用 SD 的修脸插件「After Dtailer」缩写为「ADtailer」采用脸部模型「face_yolov8s.pt」正负关键词先不用写，保持空白
点击「生成」动机下列图所示
不得不说与前图对比，修脸动机非常棒，唯美二次元少女已经成型了一大半
9. 暂时先不解决手部问题，先尝试模型，看是否有其他更仙，更好看的二次元大模型
前面说到我的 web ui 中二次元画风模型有十几个，为了提升效率，避免 1 个个去试，这里可以利用神器功能「脚本」进行尝试
开启脚本，采用「x/y/z 图表」，X 轴采用我们想尝试的参数—— 模型名「chechpoint name」
右侧框中采用模型，这里暂时每次选 4 个进行尝试，避免太多 SD 卡掉生不出来；
其他参数 Y、Z 轴先不动，将最下方的「宫格图边框」改为 10 ——可以让我们最终生成的每张宫格图 间距10像素
完成配置，点击「生成」跑图尝试，我分了 3 次每组 4 个模型生成下列对比图，脚本的组合对比图真的超好用
12 个模型对比，能看到目前最好看的是第三排第一个的「Ghost Mix _v2.0」模型，人物非常仙且脸部细节细腻，接下来就用「Ghost Mix _v2.0」模型进行优化
10. 选定模型，加大批次进行跑图筛选
采用「Ghost Mix _v2.0」模型，将「生成批次」调为 6，1 次跑 6 张，上面我们已经失掉模型尝试结果，就先将「脚本」功能关闭，点击「生成」
6 张中最后一张最好看，已经达到 60 分～～
11、开启 SD 的建设步骤，将一张 60 分的图建设到 90 分
①采用最后 1 张，将图发送到「图生图」开启图像高清建设放大的插件「Tiled Diffusion」「分块 VAE」，保持默认放大 2 倍，配置下列所示；
「Tiled Diffusion」插件功能：放大图片分辨率，高清建设图片
②开启 Controlnet， 采用「tile」模型与处理器，权重为 1.4,具体可根据尝试动机调节
「tile」模型作用：与「Tiled Diffusion」配合利用，放大+建设+细节增强；
③开启「ADtailer」插件——作用：精确修脸插件，动机贼棒
④保持色彩负责插件「cut off」继续开启——作用：保持精确负责色彩分布
完成以上 4 步配置后，恭喜你可以开始点击「生成」去尝试动机
我的尝试动机如图，功夫不负有心人，4 步建设后，除了右手的 bug，其他都非常美～
12. 进入修手环节，PS 绘制大形，拖入给 SD 进行重绘
由于 SD 生手实在太费劲，我们需要给他更精确的参考，我的思路是直接把照片原图的手抠出来让 SD 重绘一下，再 P 到我们上面生成的美图上，这样就完成了一个精确的参考，真是个大聪明，说干就干
在 ps 中将照片原图的手抠出来，失掉下图，能看到非常模糊，细节不够，不能直接利用，需要让 SD 重绘一下
①「图生图」重绘：保持模型不变，将抠出的手图拖入 SD 的「图生图」面板
迭代步数配置为 50-128（增加细节），重绘幅度配置在 0.2 下列，具体可根据跑图动机微调，重绘幅度 0.2 下列非常重要
我们希望 SD 在参考上延续模型风格、微调细节，而不想让它改动太大，因此重绘幅度要小，太大将会自由发挥生成不是我们要的图，一般 0.1 就可以了；
②开启 controlnet「tile」预处理器与模型，放大 增加细节
配置完成后点击生成，失掉下图左，用 ps 将这个手合在我们上面生成的图上，失掉完整的图
观察整图能看到问题：1 手的光影细节还是与环境不融合 2 人物面部细节不够；
③解决手的光影细节与环境不融合问题
将图片拖入到图生图的「局部重绘」，用蒙版将手部涂抹出来，「重绘幅度」开到 0.1（低重绘幅度，保持大体形象、骨骼、细节不变）
