InstantID

曾爆火的 InstantID又有了新玩法:风格化图像生成,已开源

InstantID 原班团队推出了风格迁移的新方法 InstantStyle。风格化图像生成,也常称为风格迁移,其目标是生成与参考图像风格一致的图像。此前基于 diffusion 的方法(比如 LoRA)通常需要批量的同风格数据进行训练,无法迁移到新的风格中,或者基于 inversion(如 StyleAlign),通过将风格图像还原到 latent noise 后,将其前向传播得到的 K、V 用于替换风格图像生成中的 K、V,但这类方法往往由于 inversion 的操作,造成风格退化。最近,InstantID

小红书开源「InstantID」效果炸裂,被Yann LeCun点赞,迅速蹿上Github热榜

只需一张照片,整个过程无需训练 LoRA 模型,多风格 AI 写真即刻呈现!最近,有一群来自小红书的 95 后神秘团队,自称 InstantX,搞了个大动作 —— 开源「InstantID」项目。InstantID 凭借着高质量的图像生成能力,在开源界掀起了一股热潮:不仅获得了众多技术大佬的点赞,更是在 GitHub 热榜上迅速飙升,成为焦点。这个「出片神器」,让用户只需上传一张照片,就能轻松定制出多种风格的 AI 写真。对,你没看错。如图左侧所示,与之前爆火的妙鸭相机至少需要上传 20 张照片不同的是,Insta

一张照片,为深度学习巨头们定制人像图片

主题驱动的文本到图像生成,通常需要在多张包含该主题(如人物、风格)的数据集上进行训练,这类方法中的代表工作包括 DreamBooth、Textual Inversion、LoRAs 等,但这类方案因为需要更新整个网络或较长时间的定制化训练,往往无法很有效地兼容社区已有的模型,并无法在真实场景中快速且低成本应用。而目前基于单张图片特征进行嵌入的方法(FaceStudio、PhotoMaker、IP-Adapter),要么需要对文生图模型的全参数训练或 PEFT 微调,影响原本模型的泛化性能,缺乏与社区预训练模型的兼容
  • 1