ControlNet作者新作:AI打光玩得更溜了!细节保留能力远高于SD1.5

ControlNet作者“敏神”(张吕敏),刚刚上新了一个新项目——名叫IC-Light V2,可以说是把AI打光这事儿玩得溜溜的。 图片IC-Light是此前张吕敏开发的图像处理工具,可以通过AI技术精确控制图像中的光照效果。 而此次的V2版本则是一系列基于FLUX的IC-Light型号,具有16通道VAE和原生高分辨率。

ControlNet作者“敏神”(张吕敏),刚刚上新了一个新项目——

名叫IC-Light V2,可以说是把AI打光这事儿玩得溜溜的。

图片图片

IC-Light是此前张吕敏开发的图像处理工具,可以通过AI技术精确控制图像中的光照效果。

而此次的V2版本则是一系列基于FLUX的IC-Light型号,具有16通道VAE和原生高分辨率。

话不多说,直接来看效果。

例如随意输入一张照片,附上一句Prompt:

flicker 2008 photo of a woman, neon light, city, cars and people in the background.闪烁2008年的照片,一个女人,霓虹灯,城市,汽车和人的背景。

图片图片

最终生成的效果可以称得上毫无违和感。

我们再来放大来看下前后的对比,人物细节保留程度就更明显了:

图片图片

再来看一个例子:

图片图片

据敏神自己介绍:

IC-Light V2得益于更好的训练方法,细节保留能力远高于SD1.5。

而网友们在看完新工具的效果之后也直呼“世界上最好的重光照(relighting)工具”。

图片图片

风格化图片也能处理

在之前基于SD1.5的IC-Light,有个问题就是处理带风格的图片的效果并不是非常理想。

例如这样:

图片图片

可以明显看出,原图是一张美漫风格的图片,而输出的结果却是真人风了。

而且即使在Prompt中给到了关键词“surrealist painting of(超现实主义绘画)”,得到的风格依旧还是带点漫画风。

嗯,AI直接把这个关键词给忽略掉了。

图片图片

而现在,基于FLUX的IC-Light V2,已经弥补了此前的缺陷。

图片图片

图片图片

图片图片

除了人物之外,敏神也展示了其它主体的效果。

图片图片

图片图片

在线可玩

目前,IC-Light V2已经上线HuggingFace,可以在线体验。

下面是我们实测马斯克照片的例子:

图片图片

除此之外,敏神此次推出的IC-Light V2其实是一个系列的模型。

目前可以体验的版本是一个foreground conditioned model(前景条件模型),强调的是保留输入图像细节。

还有三个模型在陆续发布:

  • 还是一个前景条件模型,但强调支持较大的修改,例如处理低光图像和更改硬阴影。
  • 一个前景和背景条件模型
  • 与环境HDRI集成的模型

最后,敏神对于这次的模型还补充道:

目前的模型只能在Huggin

gFace上体验,稍后会发布更多的推理代码和权重。

然而,与V1不同的是,该许可证将仅用于非商业用途。

体验链接放下面了,感兴趣的小伙伴可以尝鲜一波哦~

体验地址:https://huggingface.co/spaces/lllyasviel/iclight-v2

参考链接:[1]https://github.com/lllyasviel/IC-Light/discussions/98[2]https://x.com/multimodalart/status/1850521222213218380?s=46&t=6eepxw1G6XRQ7VO0ANjJWg

相关资讯

好看又好用!5 款高质量的 Flux Lora 模型推荐

大家好,这里是和你们一起探索 AI 的花生~ 这几天一直在高强度学习 Flux 的相关内容,前面为大家详细介绍了 Flux 生态的最新内容,今天再推荐一些我发现的质量非常不错的 Flux Lora,包含写实、插画等多种风格,其中一些对提升 Flux 的出图效果非常有帮助,一起来看看吧~ 如果你还不了解如何使用 Flux Lora,可以看这里:一、FLUX1-超写实逼真黑悟空 8 月 20 号备受瞩目的国产 3D 游戏大作《黑神话:悟空》正式上线, 无论是朋友圈、微博、B 站还是其他平台都被它的相关信息刷屏了,甚至

Flux.1 生态最新梳理!新增 4 款新模型,支持 Controlnet 和 Lora (附模型/工作流文件)

大家好我是花生~ 绘画模型 Flux.1 自推出后,以其超强的图像生成能力迅速受到广泛关注,一跃成为新一代的 AI 文生图模型标杆。 虽然 Flux.1 dev / schnell 模型开源还不到 1 个月,但围绕其进行的生态建设却发展迅猛:目前已经出现了至少 4 种不同的模型版本和几百款 checkpoint 、lora 模型,配套的 controlnet 模型也已经上线,各种基于 flux 的文生图、图生图、高清放大、局部重绘、面部修复工作流也投入了使用,让人惊叹于开源社区强大的生命力。生态能发展完善肯定是好事

阿里妈妈开源全新 AI 图像修复模型 FLUX-Controlnet-Inpainting

阿里妈妈创意团队宣布开源 FLUX-Controlnet-Inpainting AI 图像修复模型。该模型宣称结合了 FLUX.1-dev 和 ControlNet 的优势,能高质量修复图像。模型可以理解用户语言描述,并修复图像且支持改变风格,官方示例如下:FLUX-Controlnet-Inpainting 与 SDXL-Inpainting 相比,生成内容效果对比如下(输入图像 | 蒙版图像 | SDXL 修复 | 最终效果):FLUX-Controlnet-Inpainting 目前处于 Alpha 测试阶段