AI在线 AI在线

神级模型 In-Context LoRA 爆火!10种场景精准出图!

作者:夏花生
2024-11-21 01:39
大家好,我是花生~. 阿里通义实验室在月初推出的一个新开源项目 In-Context(上下文) LoRA 最近越来越火了,因为大家发现它实在太好用了,无论是保持人物/场景一致性,还是进行服装、风格、Logo、字体样式、页面版式的学习迁移,效果都非常不错,一下就解决了很多大家之前头疼的问题。 目前 In-Context LoRA 已经在摄影、电商设计、样机制作、头像生成等方面有了落地应用,极大满足了大家对精准控制出图的需求,那今天我们就一起来看看 In-Context LoRA (以下简称 IC LoRA)究竟有哪些神奇之处。

神级模型 In-Context LoRA 爆火!10种场景精准出图!

大家好,我是花生~

阿里通义实验室在月初推出的一个新开源项目 In-Context(上下文) LoRA 最近越来越火了,因为大家发现它实在太好用了,无论是保持人物/场景一致性,还是进行服装、风格、Logo、字体样式、页面版式的学习迁移,效果都非常不错,一下就解决了很多大家之前头疼的问题。

目前 In-Context LoRA 已经在摄影、电商设计、样机制作、头像生成等方面有了落地应用,极大满足了大家对精准控制出图的需求,那今天我们就一起来看看 In-Context LoRA (以下简称 IC LoRA)究竟有哪些神奇之处。

相关推荐:

效率翻倍!5 款不容错过的 ComfyUI 实用插件

大家好,我是花生~ 好久都没有推荐 ComfyUI 的相关内容了,实在是前段时间太多 AI 绘画神器有重大更新了,一时间抽不开身。

阅读文章 >

一、In-Context LoRA 简介

IC LoRA 是基于 Flux 训练的,用法也和普通的 Flux Lora 一样。它最大的特点是可以在图像生成时,稳定保持不同图像之间的关联性和一致性,就如有了理解记忆能力一样。根据这个特性,研发团队训练出 10 种不同的模型,分别应对不同的场景,它们主要可以分为以下几个方面。

1. 人物/场景一致性

IC LoRA 可以很好地保持人物、场景在不同图像中的一致性,而且仅需提示词就能实现,因此它很适合生成故事分镜或者同一人物的系列照片。同时,它也可以生成包含「写实」和「卡通」两种风格的图像,并且使两个风格的角色特征、服装穿搭仍保持一致。

神级模型 In-Context LoRA 爆火!10种场景精准出图!

神级模型 In-Context LoRA 爆火!10种场景精准出图!

神级模型 In-Context LoRA 爆火!10种场景精准出图!

2. 风格一致性

通过提示词,IC LoRA 可以一次性生成多张视觉风格一致的图像,这用来生成室内设计概念图、情侣头像等内容时非常方便。

神级模型 In-Context LoRA 爆火!10种场景精准出图!

3. 样式迁移

IC LoRA 是基于 Flux 训练的,因此在文本、图形的迁移学习上也有很好的表现,可以生成同一风格样式的字体和页面版式,还支持将现有的 VI 元素,比如 Logo、插画等,完美复刻到新图像中,让样机展示变成一件无比轻松的事情。

神级模型 In-Context LoRA 爆火!10种场景精准出图!

神级模型 In-Context LoRA 爆火!10种场景精准出图!

神级模型 In-Context LoRA 爆火!10种场景精准出图!

除了文本直接生成,IC LoRA 也支持通过已有图像生成具有一致性的新图像,比如根据 3 张图像生成同一人物的新图像、将真人照片转为相似的卡通图像、根据现有 Logo 生成它的样机展示图等。这样的方式比以往训练 LoRA 要方便快捷很多。

神级模型 In-Context LoRA 爆火!10种场景精准出图!

二、ComfyUI 本地使用

10 个模型下载: https://huggingface.co/ali-vilab/In-Context-LoRA (文末有资源包内)

应用场景展示: https://github.com/ali-vilab/In-Context-LoRA

IC LoRA 官方目前开源了 10 个模型,每个模型对应不同的使用场景。

神级模型 In-Context LoRA 爆火!10种场景精准出图!

不过它们的使用方法和普通的 Flux Lora 是一样的:在基础的 Flux D 文生图流程上,加入一个 load lora 节点加载对应模型就行,下图是一个标准的工作流示例(文件在文末资源包内)。你可以一次性下载 10 个模型,也可以只下载自己需要的那几个,然后将模型安装到 ComfyUI 根目录的 lora 文件夹中,

神级模型 In-Context LoRA 爆火!10种场景精准出图!

需要注意的是,不同 lora 模型的提示词写法和推荐图像尺寸各有不同,具体内容官方在 github 上有给出示例。大家在使用前一定要查看,将对应参数信息都修改好了之后再生成,否则会影响出图效果。

神级模型 In-Context LoRA 爆火!10种场景精准出图!

官方目前只给出了文生图的工作流,开源社区则已经衍生出多个图生图的落地应用案例,包括换装、样机、情侣头像、电商场景、角色故事分镜、四格漫画等,Github 中都有集中收录,每一个都附带了对应的工作流/模型/插件链接,大家可以选择自己喜欢的类型进行尝试。

神级模型 In-Context LoRA 爆火!10种场景精准出图!

三、在线试玩

Glif 在线试玩: https://glif.app/@fab1an/glifs/cm3ogs6tn003j10dygwyq6l9c

Glif 上有一个基于 IC LoRA 的小工具 Any Image Anywhere,可以免费生成任何 logo 的样机图。注册登录后只需上传你的 Logo 图像,然后描述样机场景,比如 “on a packaging design agency studio wall (在包装设计机构工作室的墙上)”,就能一秒得到一个相当不错的样机展示图。

神级模型 In-Context LoRA 爆火!10种场景精准出图!

那么以上就是本期对热门模型 In-Context LoRA 的相关介绍,网上还有很多大神都分享了它的免费使用教程,想深入了解的小伙伴可以自行学习。另外该模型目前是基于 Flux Dev 生态的,属于不可商用,大家需要注意版权。

喜欢本期内容一定记得点赞评论支持一波,我会更有动力分享新的内容。也欢迎大家关注「优设 AI 自学网」 和「优设微信视频号」,每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握 AI 发展动态。也欢迎大家扫描下方的二维码加入“优设 AI 知识交流群”,和我及其他设计师一起交流学习 AI 知识~

神级模型 In-Context LoRA 爆火!10种场景精准出图!

另外我的新课程《AI 视频零基础系统入门》已经上线了,对 AI 视频感兴趣的小伙伴不要错过。课程内容包括:

  1. 从文生视频、图生视频、视频生成视频、数字人视频 4 个方面,系统全面地带你了解目前主流的 AI 视频制作方式以及优缺点;
  2. 十余种热门 AI 视频生成神器用法详解,轻松掌握大神同款工具;
  3. 附赠课程专属工具清单,收录了近 300 款 AI 视频、音频、文案神器,全面赋能 AI 视频创作
  4. 高质量免费自学资源、最新 AI 视频资讯获取渠道全分享

相关链接: https://github.com/ali-vilab/In-Context-LoRA?tab=readme-ov-file#community-creations-using-ic-lora https://ali-vilab.github.io/In-Context-LoRA-Page/

推荐阅读:

2024年11月工具合集!6 款不容错过的免费AI神器

大家好,我是花生~ 今天我们继续 AI 效率神器的第 13 期,一起来看看吧~ 上期回顾: 一、背景扣取模型 RMBG-2.0 在线试玩: https://huggingface.co/spaces/briaai/BRIA-RMBG-2.0 Github 主页: https://

阅读文章 >

人人都能做!3 步教你用 AI 免费复刻 “让学生梦想成真” 的照片

大家好,我是花生~ 上周优设 AIGC 视频号发布了一条趣闻推送,讲的是国外有一个老师,在收集了学生们未来想从事的职业后,用 AI 生成了每个人长大后对应的照片,然后打印出来在课堂上送给了他们。

阅读文章 >

相关资讯

开源大神、设计巨头都在跟进,AI 打光功能为何如此受关注?

大家好,我是花生~. 前两天开源领域的大佬 lllyasviel 张吕敏突然在 Github 上发布了一条更新动态,推出了 IC-Light 的 2.0 版本。 IC-Light 之前我为大家介绍过了, 它是一个照明控制项目,支持通过文本和背景图,自动使前景主体与背景的光照、色调变得一致,从而让二者融为一体。
10/31/2024 1:21:12 AM
夏花生

一文详解打光神器 IC-Light!可控制光照方向和色彩氛围,免费使用

大家好,这里是和你们一起探索 AI 的花生~ Controlnet、SD WebUI Forge 和 LayerDiffusion 的作者 lllyasviel 大神最近又推出了一个新的项目 IC-Light,可以实现控制一张图像的光照方向和色调氛围,今天一起我们了解一下它的特点及用法~ 相关推荐:一、IC-Light 简介 IC-Light 项目主页: IC-Light 是 "Imposing Consistent Light (营造一致的光线)" 的缩写,它是一个照明控制项目,目前支持通过文本和背景图对前景内
5/17/2024 6:11:02 AM
夏花生

ControlNet 作者新作爆火:P 照片换背景不求人,AI 打光完美融入

ControlNet 作者新作,玩儿得人直呼过瘾,刚开源就揽星 1.2k。用于操纵图像照明效果的 IC-Light,全称 lmposing Consistent Light。玩法很简单:上传任意一张图,系统会自动分离人物等主体,选择光源位置,填上提示词,就能毫无破绽地融入新环境了!赶紧来个王家卫式的打光:不喜欢?没关系,换成窗外打进来的自然光,也就分分钟的事。目前,IC-Light 提供两类模型:文本条件重照明模型,还有背景条件模型。两种模型都需要以前景图像作为输入。鉴于之前 Controlnet 太好玩儿,这次
5/10/2024 8:34:55 PM
清源