AI 帮你成为百变星君。
这一次，Yann LeCun 首次跻身「百变大咖」。身穿钢铁侠的衣服、戴着酷酷的墨镜面无表情地注视着你，一身古装在故宫门前打卡留念……
就连本人也出来转发并喊话，「左下角这幅文艺复兴时期的画，是我的最爱。」
性感女神寡姐身穿紫色巫师服注视着远方，还可以戴着圣诞帽和你对视：
身穿太空服的奥特曼看起来萌萌的，把头发染成红色也毫无违和感
上述研究便是来自南开大学、腾讯等机构提出 PhotoMaker，这是一种高效的个性化文本到图象生成方法。相关论文《PhotoMaker：Customizing Realistic Human Photos via Stacked ID Embedding 》于去年 12 月放出，刚刚，项目也已经开源。不到一天时间，星标量高达 650+。
项目地点：https://github.com/TencentARC/PhotoMaker?continueFlag=98363d6ac1beafe515190e50d2c40427
PhotoMaker 除了生成逼真的人像，还能进行其他作风的生成，如草图、漫画、动画等。
分歧人物身份也能进行混合，创造出一个全新的人物形象。赫本和爱莎公主的组合版兼顾了两者的特点：
改变照片人物的年龄、性别也不是不可以：不知 LeCun 对这次生成的女装有何感想。
图源：https://twitter.com/xiaohuggg/status/1746861416743928103
这项研究可以人人试玩，操作也非常简单，分为 4 步：
首先是上传一张图片，一张就可以了，不过多张效果会更好，上传图片中的人脸应该占据图象的大部分。
第二步是输出文本提醒，操作过程中确保使用触发词 img，例如 man img、woman img 或 girl img。
第三步是选择喜欢的作风模板（内置有十多种）。
最后一步是单击 Submit 按钮，等待生成。
以上生成过程如果有操作不当的地方，PhotoMaker 都会进行提醒，不用怕自己操作失误。
体验中，我们输出一张马斯克的照片，提醒语为「A man img wearing aspacesuit」，作风为漫画形式，等待几秒就可以了，效果看起来还不错。
试玩地点：https://huggingface.co/spaces/TencentARC/PhotoMaker?continueFlag=98363d6ac1beafe515190e50d2c40427
这项研究背后用到了哪些技术，我们接着往下看。
研究介绍
论文地点：https://arxiv.org/pdf/2312.04461.pdf
PhotoMaker 这种高效的个性化文本到图象生成方法，它主要将任意数量的输出 ID 图象编码成一个重叠 ID 嵌入，以保存 ID 信息。这样的嵌入作为统一的 ID 表征，不仅可以全面封装相同输出 ID 的特性，而且还可以适应分歧 ID 的特性以供后续集成。这为更有趣和实用价值的应用铺平了道路。
如图 1 所示，PhotoMaker 不仅能进行常见的重新建立，还能改变输出人像的属性（例如，配饰和表情），从输出 ID 生成完全分歧视角的人类照片，甚至修改输出 ID 的性别和年龄（见图 1）。
PhotoMaker 还为用户生成定制人像提供了许多可能性。虽然在训练过程中建立重叠 ID 嵌入的图象来自同一 ID，但在推理过程中可以使用分歧的 ID 图象来形成重叠 ID 嵌入，以合并和创建新的定制 ID。合并的新 ID 可以保存分歧输出 ID 的特性。例如，PhotoMaker 可以生成看起来像马斯克的斯嘉丽，或者生成一个将某人与知名 IP 角色混合的定制 ID，见图 1（c）。
为了推动 PhotoMaker 的训练，研究者提出了一个面向 ID 的数据建立 pipeline 来组装训练数据。在通过所提出 pipeline 建立的数据集的帮助下，PhotoMaker 揭示出比测试时微调基础方法更好的 ID 保存能力，同时提供了显著的速度提升、高质量的生成结果、强大的泛化能力和广泛的应用范围。图 2 (a) 揭示了 PhotoMaker 的概览。图 2 (b) 揭示了相关的数据建立 pipeline。
如图 3 与表 1 所示，在定性及定量实验中，PhotoMaker 可以很好地满足生成高质量图象的能力，同时确保 ID 的高保真度。
PhotoMaker 还可以将上世纪甚至古代的人物带到当代，为他们「拍照」，如图 4 (a) 所示。与 PhotoMaker 相比，Dreambooth 和 SDXL 都难以生成现实中没有出现过的逼真人物图象。此外，由于 DreamBooth 过度依赖定制图象的质量和分辨率，因此在使用旧照片进行定制生成时，DreamBooth 很难生成高质量的结果。
如果用户输出的是分歧 ID 的图片， PhotoMaker 可以很好地整合分歧 ID 的特性，形成一个新的 ID。从图 5 可以看出，DreamBooth 和 SDXL 都无法实现身份混合。相比之下，无论输出的是动漫 IP 还是真人，无论性别如何，PhotoMaker 都能在生成的新 ID 上很好地保存分歧 ID 的特性。
此外， PhotoMaker 的作风化表现也十分优秀。如图 6 揭示，PhotoMaker 不仅保持了良好的 ID 保真度，还有效地揭示了 prompt 中的作风要求。
更多详细技术内容，请阅读原论文。