这个五一小长假,一款 Remini 的人工智能修图软件火了,一夜之间,大家都变成了黏土人。你喜欢黏土格调吗?这篇文章带你了解了解~
一、前言
最近你是不是也被各个平台爆火的丑萌丑萌的黏土人照片视频刷屏了?这个五一小长假,一款 Remini 的人工智能修图软件火了,一夜之间,大家都变成了黏土人。很多人的第一反应是:太丑了!增添滤镜后的照片不仅丑萌丑萌,甚至还有点“呆傻”。还有网友评价:每一张都丑得很意外。真的很丑萌吗?我们一起瞧瞧!
虽然丑出天际、丑到无语,甚至五官乱飞,但很多人一上手根本停不下来。有网友说,一玩玩到了凌晨五点;还有网友表示:阴森森的,但就是很喜欢,感觉自己进入了双人成行的世界里。
截屏微博网友(如有侵权,联系删除)
二、黏土滤镜
黏土滤镜是 Remini 最近上线的一个新功能。短短几天时间,小红书上关于 Remini 黏土滤镜的笔记超过了 6000,黏土滤镜、黏土教程、黏土特效等相关帖子的浏览量达到几千万。
Remini 的收费并不低,一周会费 68 元,不过前面 7 天可以享受免费试用服务。有意思的是,因为黏土滤镜过于火爆,闲鱼已经出现 24 小时接单的商家,价格从 1 元 1 张,到 3 元 10 张不等。
作为会应用 comfyui 搭建的我来说,当然是间接搭建一个 comfyui 歇息流啦。
三、ComfyUI 歇息流
1. 歇息流原作者
网址:https://openart.ai/workflows/xiongmu/image-to-clay-style/KRjSiOFyPSHO5QCQ4raV
感谢原作者的分享,我在原歇息流基础上增加了 SVD 和增加视频帧率的流程,让其更加方便地能够间接通过图片转成视频。
完整歇息流截屏(高清图附件下载)
2. 歇息流主要技术点
黏土格调 lora 应用
ipadapter 格调提取
WD1.4 提醒词反推
ControlNet Canny 控制生成最后的图片
SVD 图片转视频
VFI 视频帧率提升
3. 大模型和 Lora 的选择
这里的大模型可以间接应用官方版本的 SDXL 大模型或者其他常用的大模型都可以,不做强制要求,lora 应用的是黏土格调的 lora 模型。
黏土格调 lora 的下载地址:
黏土格调 lora1:CLAYMATE – Claymation Style for SDXL
网址:https://civitai.com/models/208168/claymate-claymation-style-for-sdxl
黏土格调 lora2:Doctor Diffusion’s Claymation Style LoRA
网址:https://civitai.com/models/181962/doctor-diffusions-claymation-style-lora
lora 强度根据可以不用动,参考下图即可,这里 lora 堆模块应用的是一个插件 ComfyUI_Comfyroll_CustomNodes,如果缺失了这两个模块可以在 manager 间接搜索下载。
也可以在 github 间接下载,安装到你的 comfyui 根目录\custom_nodes 文件夹中即可。
网址:https://github.com/Suzie1/ComfyUI_Comfyroll_CustomNodes
lora 堆模块应用的是一个插件 ComfyUI_Comfyroll_CustomNodes
4. IP-adapter 格调提取
Ipadapter 应用了新版本,如果应用老版本也是可以的间接将下载两个模块删除替换即可。ipadapter 应用的是 plus 版本的模型,ipadapter 强度 0.7,并且应用 image Resize 将图片做了缩放,保证图片不会太大,可以在歇息流中正常生成。
Ipadapter 需要的三个模块
5. WD1.4 提醒词反推
正向提醒词应用了 WD14 进行反推,并且应用 Comfyui-Gemini 插件中的 ConcatText 模块将两个提醒词连接到一起,primitive 元节点中写的是 lora 的触发词。
注意点:如果缺失 WD14 模型会发生报错,如果有报错,或者缺失 WD14 插件可以间接附件下载我的这个。
Comfyui-Gemini 插件,github 链接: https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini
6. ControlNet Canny 控制最后生成的图片
Controlnet 这里需要注意的是和大模型版本一定要一致,应用 SDXL 版本的模型才可以。当然这里应用的是 sdxl 版本的 canny 模型。
完成以上内容之后就可以输入到 k 采样器中进行图片转绘啦。生成好图片之后,就来到了图片转视频的流程。
7. SVD 图片转视频
最后增添了一个 svd 歇息流,应用的是 SVD_xt 模型,这个 svd 歇息流最多能够生成 25 帧的长度的视频,如果视频帧率设置为 8,那么生成的视频长度大约是 3 秒。
再增添一个 VFI 模块,用于将 svd 生成的视频增加帧率,让其更加流畅。
SVD 图片转视频相关不是特别了解的小伙伴可以看这条视频,详细讲解了 svd 参数调节和 svd 歇息流应用方法:
当视频在手机上无法加载,可前往PC查看。
结语
这个案例用到 lora 模型和歇息流,我已经打包了,有需要的同学自取哟!文章末尾自取~