可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

「天空一声巨响,川子闪亮登场!」,大家好,我是言川,在经过两个月的学习和沉淀(拖更)之后,我回归写文章这件有趣的事情上来了。老规矩,先说下本篇文章是个什么玩意儿,咳咳~各位设计总监们,玩过 PS 吧(应该说是 Photoshop)。各位 AI 大神们,听说过并且玩过 SD 吧(Stable Diffusion)。这两款都是独立且庞大的设计软件,并且经过今年 AI 浪潮的洗礼,我们似乎在设计中好像很难完全无视掉 SD 这款强大且可控性极强的 AI 软件。 而在设计师的工作中,PS 也基本是设计师必用的软件之一,但是

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

「天空一声巨响,川子闪亮登场!」,大家好,我是言川,在经过两个月的学习和沉淀(拖更)之后,我回归写文章这件有趣的事情上来了。老规矩,先说下本篇文章是个什么玩意儿,咳咳~

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

各位设计总监们,玩过 PS 吧(应该说是 Photoshop)。各位 AI 大神们,听说过并且玩过 SD 吧(Stable Diffusion)。这两款都是独立且庞大的设计软件,并且经过今年 AI 浪潮的洗礼,我们似乎在设计中好像很难完全无视掉 SD 这款强大且可控性极强的 AI 软件。

而在设计师的工作中,PS 也基本是设计师必用的软件之一,但是 PS 在 AI 作图这个领域上好像表现的总是差强人意,尽管我们自愿当作 Adobe 的一颗韭菜,购买了正版的 PS Beta,运用了创意式填充,但是效果嘛…用过的都说“好”,而且还有奇怪的生成报错等问题。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

好!打住打住,废话就说到这。想必各位也猜到了我接下要说的是什么,没错,就是「Auto-Photoshop-StableDiffusion-Plugin」。这是一个 PS 插件,通过这个插件,我们可以直接在 PS 中运用 SD 的功效,不用在两款软件中来回切换,并且我们可以在 PS 设计中随时调用 SD 辅助帮我们生成 AI 制作的图片。

总之就是很牛,很强大,PS 和 SD 两款软件单独在一个领域都是大哥级别的存在,何况现在是两个大哥合作,穿同一条裤子了…到底它如何的强大呢,咱往下面看,没有「各位客官,下回分解」,现在你就可以跟着小川子一步步的了解它,熟悉它并爱上它。

了解更多插件神器:

二、关于插件的装置

1. 官方文档

装置插件这个事情是最简单的,咱也别藏着掖着,这里有一份官方运用说明文档,且包含两款软件中的插件装置包,这个网站打开需求魔法: https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

如果你嫌麻烦,不想去看官方文档可不可以呢,当然没毛病哈,保姆级教学是我的标签,下面我会给大家先容装置的方法,以及我装置的时候遇到的一些坑。

2. StableDiffusion 插件装置

熟悉 SD 的朋友都应该对插件的装置轻车熟路了,无非就是在线装置和本地装置。

在线装置需求开启网络,在扩展中选择“可下载”,并按键盘的“crtl+F”搜索「Auto-Photoshop-StableDiffusion-Plugin」,然后点击“装置”便可。装置完成后在“已装置”列表检查便可。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

但是!我在第一次装置这个插件的时候就是通过这种方法,结果后面在 PS 中运用图生图的时候,发现图生图的蒙版功效没生效,这个问题困扰我几个小时没解决,最后我运用本地装置的方法就完美解决了。我是不太清楚是我操纵问题还是该插件 BUG,所以避免大家后续也出现这种让人头疼的事情,乖乖的跟我一样运用本地装置吧。

注:其他插件同理,在线装置导致各种报错那就本地装置。

本地装置需求我们下载装置包,两种方法:

1. 去官方文档上下载,链接在此: https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin/releases/tag/v1.3.3

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

下载完成之后,把该文件夹丢进这个「extensions」中,文件路径为下图,大功告成!同样,可以去 webUI 上的“已装置”目录下检测是否成功装置。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

为了保证插件的顺利运行,我们还需求把 web-ui 的 API 模式打开,打开秋叶的启动器界面,找到“高级选项”,并在网络设置这里,打开“启动 API”按钮。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

3. Photoshop 插件装置

SD 装置完了之后,还需求把 PS 的插件装一下。在这里提一嘴,SD 和 PS 的插件文件是同一个,就是上面的。

装置之前需求说明的是,目前该插件仅支持「Photoshop v24」以上版本,也就是 Photoshop 2023 年版本以上的,我目前装置的是 2024 年版本的 PS

把这个插件文件夹拖到 PS「Plug-ins」目录下便可。(右键单击 PS 软件,选择“打开文件所在的位置”便可找到「Plug-ins」目录)

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

4. 测试并启动插件

插件全部装置完成之后,我们先来测试下插件能不能正常运行。

首先我们要保证一点,正常启动 StableDiffusion,我们需求保证「SD 控制台」是在正常运行状态,web-UI 界面可关闭,但是「控制台」不能关闭,就是下面这个界面,切记!

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

接着启动 PS,点击顶部的「增效工具」,看到下面「Auto-Photoshop-StableDiffusion-Plugin」证明装置成功,并且点击「SD 插件(明空汉化)」便可调出该操纵界面。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

至此,装置篇到此结束,希望大家能跟着教程一把过,不出现任何的问题,愿主保佑你们~

三、四种生图功效详解

本章节我们来先容 Auto Photoshop 界面及其主要功效,但不会先容 Stable Diffusion 的工作原理,如果你还没接触过这款软件,可以先去看看我的另外一篇文章《外婆都能看懂的 Stable Diffusion 入门教程》。

1. 基础功效先容

下面以两张图片来详细先容下插件的功效,该功效都是与 SD 对应的,其他的功效会在后续操纵中插入讲解。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

2. 文生图功效详解

文生图功效算是 SD 中最常用也是最简单的操纵,输入关键词设置尺寸便可生成图片,下面我们来实际操纵下。

首先我们先在 ps 中新建一个画板(ctrl+n),我演示的尺寸为 1920*1080;

大模型选择一个写实模型:majicMIX realistic 麦橘写实
正向关键词:1girl,sweater,white background(1 个女孩,毛衣,白色背景)
反向关键词:(worst quality:2),(low quality:2),(normal quality:2),lowres,watermark
其他的默认设置就行,先不着急调各种参数。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

接下来进入实操环节,运用选框工具在画板上画一个选框(这个插件就是在选区中生成。没有选区生成不了图片),然后点击红色的按钮(Generate Txt2Img),等进度条跑完图片就会在选区中被生成出来(如右侧演示图)。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

我们可以通过这种方法在画板中画各种各样的选区,并生成图片,那这一步完成证明你已经运用这款插件完成了第一次图片的创作。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

小提示(tip):

当你用当前绘制的选区创作了一张照片后,不满意该照片的效果或者是需求调整关键词及其他参数时,只要你还是想在你当前绘制的选区中生成图片,那么就点击绿色的按钮(Generate more)重新在该选区中生成,而不需求重复绘制相同的选区(应该解释清楚了吧,不懂可实操一遍)

① 一个选区中重做的图片会在插件底部的查看器中显示:

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

再来先容下查看器的三个小功效,导入的图片均可在图层中查看:

蓝色:导入缩略图全部照片到图层中;
青色:删除缩略图中的所有照片;
紫红:导入选中的缩略图照片。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

3. 图生图功效详解

接下来先容下图生图功效,看完你会就觉得超级棒的!

下面演示一个真人写实照片转动漫风格的案例,聪明的你一定想到了,要切换一个动漫模型对不对(注:PS 插件切换大模型时需求注意后台的切换进度,并不是秒切的),那还是一张图解决基础的操纵。

①大模型:darkSushi25D25D_v20

②正向关键词:
1girl, shirt, tinted eyewear, striped, suspenders, skirt, short sleeves, sunglasses, plant, white shirt, short hair, striped shirt, black hair, head tilt, standing, looking at viewer, cowboy shot, orange-tinted eyewear, suspender skirt

③反向关键词:
(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw

关于图生图的关键词描述可以用 SD 的反推关键词(WD 1.4 标签器)功效。

在 PS 中拖入一张亚洲女孩的照片,然后切换成「图生图」功效,设置好大模型及关键词:

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

框选需求 SD 绘制的区域,图生图的下面缩略图(image)会识别该区域,点击红色生成按钮便可完成图生图真人转动漫风格。当然你会发出质疑,生成的效果人物不像,人物动作有改变,背景也有变化等等等,我劝你真别急(后面有你急的),这期教程把操纵全写完,下期我写什么。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

当然,它也继承了 SD 的「重绘幅度」功效,可以调整重绘幅度的数值来控制图片效果,相信各位玩家早已熟悉。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

4. 局部重绘功效详解

再来说下局部重绘功效。在 SD 的 web-ui 中,局部重绘是在「图生图」中,操纵路径是上传图片,然后用 SD 中的画笔来涂抹需求修改的区域,运用过的朋友都应该对这个画笔有极大的不满,非常难用是吧。然而在 PS 中,我们可以借助 PS 强大的选区、钢笔以及对象选择等工具快速且精准的选取需求局部重绘的地方进行修改。

哦对了,相信大家之前都运用过 PS Beta 中的「创成式填充」,抛开 Adobe 生成效果差的因素,其实真的是很方便且很强的一个功效。然而我们这个插件是 PS+SD 的结合,所以我们是能运用超级多的模型及 Lora 来生成超级棒的效果,字数水太多了,咱们直接来实操:

还是上面那张图片和关键词,我们把模型换成一个写实风格的大模型:majicMIX realistic 麦橘写实

接下来的操纵是把中间的人物局部重绘下,变成另外一个人物,且背景不发生改变。

点击「inpaint」,然后图层区域就会出现一个蒙版遮罩。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

用 PS 的选区工具选中主人物,并在插件生成的蒙版图层上填充白色(白色区域为局部重绘区),反之人物不变换背景的话就反向选取并填充白色。

注:一定是在蒙版图层上填充白色,其他图层上填充无效!

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

如图所示,取消人物的选区,然后再拉出大选框确保新的选区覆盖蒙版及周边原图(很重要),点击生成便可完成人物的更换,效果还是很不错的,如果生成的人物黑黑的,那用 PS 直接调整不是很方便吗。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

既然把人物换了,那我们演示下换个背景试试,用上面的操纵,更换人物背景,把正向关键词改为街景描述的关键词:Outdoors on city streets(在城市街道的户外),然后点击生成便可。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

大家是不是看着这个人物的头发都被换了?还有手部也乱了?那是因为我是用 PS 一键选区工具选取的,头发没被选取完整,所以 SD 在生成背景的时候把缺失的头发部分补上了(这也说明 SD 的强大),所以大家在实际作图中,要老老实实把选区做好,别跟我一样偷懒!

再来说一下「局部重绘」相关的功效:

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

5. 外绘扩图功效详解

最后先容下「outpaint」外绘扩图功效,这个功效就是把非原始图像的空白区域补上,具体说明看操纵就懂了。

先切换「outpaint」功效,用 PS 裁剪工具把画布拉大:

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

然后 ctrl+a 全选中整个画板区域,可适当调整「重绘幅度」,点击生成便可完成扩图,是不是很牛!

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

至此本插件的 4 种基础生图功效已经全部讲解完毕,撒花~

四、Controlnet 功效详解

Controlnet 作为 Stablediffusion 中最为强大且出名的功效,此插件当然也可以运用,并且相比 web-ui 操纵体验差的痛点,在 PS 中可以被完美规避。作为一枚优秀的设计师,你会在看完这节功效讲解后爱上这个插件并为之“疯狂”。

1. 界面功效先容

Controlnet 的插件界面比较简单(因为功效比较少),下面用一张图就能全部先容完。复杂的是它的各个模型功效,我在往期一篇文章《StableDiffusion 丨姥姥看了都会的 Controlnet 插件教程》中有先容,还不懂的小伙伴可以去翻阅一下。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

2. 生图操纵详解

操纵步骤与 SD 中运用 Controlnet 完全一致,只不过在 PS 中需求注意几个点:

运用 Controlnet 要确保该选项卡被选中;
上传图片后需求用选区选中图片,因为该插件的所有操纵都是基于选区进行绘图的;
框选需求运用 Controlnet 控制的区域后才能设置原始图。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

按照上一步图片中的操纵后,回到「稳定扩散」也就是文生图的界面,设置模型、关键词以及其他生图设置。

①大模型:majicMIX realistic 麦橘写实

②正向关键词:
CARTOON_April_ONeil_TMNT_ownwaifu, best quality, masterpiece, illustration, (realistic, photo-realistic:1.37), amazing, finely detail, incredibly absurdres, huge filesize, ultra-detailed, highres, extremely detailed CG unity 8k wallpaper, ray tracing, A female reporter with brown hair and eyes, wearing a yellow jumpsuit with a white belt and watch, standing outdoors on a city street, looking at the viewer. Her jumpsuit is unzipped slightly at the top, showing her collarbone. She has makeup on her face including lipstick, and has a friendly and relaxed demeanor.

③反向关键词:
(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

在文生图设置完成后点击生成便可创作一张与原图人物姿势一致的图片,当然这得益于 openpose 这个模型。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

其实 controlnet 生图功效就上面那么简单,如果你是玩 controlnet 的高手,那么恭喜你到此你就对这个插件的学习已经毕业了。当然你要是还不完全理解 controlnet 如何强大以及实用,那么请你接着与我一起学习。

3. 插画师线稿上色

在学会基础上述的基础操纵后,我们来做一个线稿上色的案例。请各位插画师拿上已经落灰的手绘板,与我在 PS 画板上画一画,然后选择 Scribble 预处理器及模型:

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

(ps:在下 10 年插画经验,大道至简,返璞归真,如果你悟不出我画的线稿,那就请你再练练,阁下境界还不够)

选择合适的大模型,已经填写关键词:

①大模型:GhostMix

②正向关键词:
(flat color:1.1),(colorful:1.3),(masterpiece:1.2), best quality, masterpiece, original, extremely detailed wallpaper, looking at viewer,1girl,solo,floating colorful water

③反向关键词:
(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

…….

这谁看完不沉默啊,哈哈哈。不开玩笑了,尽管 AI 再如何强大,我们还是要把基础做好,线稿也不要太随意了,否则 controlnet 的控制会没那么好,因为不管是人还是 AI,都识别不出我画的什么玩意。

我找来了一张还不错的线稿,还是用上面的参数来测试下:

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

剩下的细节处需求调整的地方就直接用 PS 修修补补,这难道不是非常的方便且好用吗?

4. 语义分割绘图

首先上传一张图片,运用 controlnet 插件中的「seg」预处理器,生成一张语义分割图,可以通过点击预览缩略图上的图标(icon)把语义分割图下载到图层上。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

上述生成的色彩图就是语义分割图,其中的色块对应的就是表格中的河流、树叶天空等元素。那么我们如果要在桥上出现一个人,是不是可以在色彩图上画一个与人物对应颜色的色块呢,说干就干。

查表得到人物的色值为#96053d,设置该色值为前景色,新建空白图层并在画面中画出人物所在的位置。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

老方法,框选中整个画板,把该画板图像设置为原始图,并选择预处理器为无。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

回到文生图,大模型选择 majicMIX realistic 麦橘写实

正向关键词:a girl, scenery, outdoors, tree, river, water, stairs, day, nature, sky, lake

反向关键词:(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,

还是需求框选中整个画板,点击生成人物就出现在了中间。

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

那么就有人问了,画面中出现的人物并不是在上传的图片上,原图生成的周边元素都发生了改变。

因为我上传的图片不是 SD 生成的,在网上随便找的一张。那我们用上传的图片生成的语义分割图通过 SD 跑一张出来试试,关键词去掉 a girl。

正向关键词:scenery, outdoors, tree, river, water, stairs, day, nature, sky, lake

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

然后固定该图片的 seed 值,并用上述生成人物的操纵再进行生成。注意我们加上人物的色块后还需求加上 a girl 的关键词,a girl, scenery, outdoors, tree, river, water, stairs, day, nature, sky, lake

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

那如果我们换成一辆车呢,找到车的色值#0066c8,然后画出车的大概形状。关键词加入 car 这个关键词,一辆车就出现在画面中了,阁下看懂了吗?

可能是最强AI绘图插件!如何在PS中运用Stable Diffusion?

五、结语

本篇 SD 插件的基础功效教程到此就结束了,当然该插件还有一些别的功效我没有先容到,都是一些锦上添花的功效,大家自个尝试便可。可以看到,这个插件解决了 sd 操纵体验差的痛点,解决了 PS 的 AI 绘图功效差的痛点,更解决了想白嫖的我们的痛点,正所谓,你好我好大家都好。

给TA打赏
共{{data.count}}人
人已打赏
应用

600万辆的「丰收」:比亚迪做对什么了

2023-11-28 18:13:00

应用

Keras 3.0正式发布:可用于TensorFlow、JAX和PyTorch

2023-11-29 14:49:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索