ControlNet 作者新作，玩儿得人直呼过瘾，刚开源就揽星 1.2k。用于操纵图象照明动机的 IC-Light，全称 lmposing Consistent Light。
玩法很复杂：
上传任意一张图，系统会自动分离人物等主体，选择光源位置，填上提醒词，就能毫无破绽地融入新环境了！
赶紧来个王家卫式的打光：
不喜欢？
没关系，换成窗外打进来的自然光，也就分分钟的事。
目前，IC-Light 提供两类模型：文本前提重照明模型，还有靠山前提模型。
两种模型都需要以远景图象作为输出。
鉴于之前 Controlnet 太好玩儿，这次 IC-Light 一出现就颇受关注，还有网友迅速做出了 ComfyUI 插件。
（疑惑，大家这么拼，都不睡觉的吗？？）
不管是期待值还是用后体验，网友给得都很高：
Nice！迫不及待要上手玩了嘻嘻嘻嘻。
谁能帮我把这图换个靠山？
从远古 MCN 到贴吧再到现在小红书，各个时代，都不乏“谁能帮我换张靠山”这种求助贴。
但热心网友的帮助，往往是这样子的：
就离谱。
不过说实在话，这种需求不仅存在于你我普通人之间，电商做商品海报，也常常有类似的需求。
有了 IC-Light，好像一切都变得复杂起来。
上传主体原图 + 选择光源位置 + 提醒词，完事儿。
来看动机 ——
这样一张佛像原图，加上提醒词“佛像、细致的脸部、科幻 RGB 发光、赛博朋克”，再选择“光从左侧打来”。
就能得到一张崭新的成品：
哪怕是日常场景也是适用的。
最后出的动机肉眼看还是比较自然：
根据网友分享的测评，动漫场景也适用……
背后技术
如前所说，IC-Light 现在提供两类模型，两种模型都需要以远景图象作为输出。
一类是文本前提重照明模型。
复杂来说就是用户可以通过输出提醒词来搞定生成。
比如输出“左侧光线”“月光”等，模型会通过这些提醒词和初始潜变量，来生成符合要求和特征的图象。
另一类是靠山前提模型。
这种就更复杂了，不需要复杂的提醒词，模型结合靠山提醒信息，对远景的物体进行差别风格的光照变化。
而其背后的技术原理，是通过潜伏空间的普遍性，确保模型输出在差别光源组合下具有普遍性，从而可以稳定地合成各种光照动机。
具体如下 ——
在 HDR 空间中，所有照明的光线传输都彼此独立，差别光源的表面混杂动机与多光源直接作用下的表面在数学上（也就是理想状态下）是普遍的。
以上面这张图的灯光阶段为例，来自“表面混杂”和“光源混杂”的两个图象是普遍的，（理想情况下，在 HDR 空间中数学上等效）。
因此，在训练从头照明模型时，研究人员在潜伏空间中使用多层感知机（MLP）让差别光源的组合和传输具有普遍性，并用来指导生成动机。
最终产生高度普遍的从头光照动机。
由于模型使用了潜伏扩散技术，因此可以在潜伏空间内实现学习和重光照操作，从而在各种光照前提下产生高度普遍的动机。
这些结果非常普遍 —— 尽管在训练时，模型没有直接使用法线图数据，但可以将差别的从头光照合并为法线贴图。
看下面这张图，从左到右依次是输出、模型输出、从头照明、分割的阴影图象和合并的法线贴图。
感兴趣的小伙伴可以前往下面地址试玩儿哟～
GitHub 直通车：
https://github.com/lllyasviel/IC-Light?tab=readme-ov-file
本文来自微信公众号：量子位 （ID：QbitAI），作者：・衡宇