阿里妈妈发布了一个新的ID保持项目EcomID，旨在从单个ID参考图像生成定制的保ID图像，优势在于很强的语义一致性，同时受人脸关键点控制。
EcomID 方法结合了 PuLID 和 InstantID 的优点，以获得更好的背景一致性、面部关键点控制、更真实的面部以及更高的相似度。目前，EcomID 的 Comfyui 原生实现官方插件也已经发布，大家可以从文章中的链接获取。
相关链接
代码：https://github.com/alimama-creative/SDXL_EcomID_ComfyUI
模型地址: https://huggingface.co/alimama-creative/SDXL-EcomID
ComfyUI：https://github.com/alimama-creative/SDXL_EcomID_ComfyUI
EcomID 结构
PuLID 的 IP-Adapter：EcomID 借鉴了 PuLID 的 ID-Encoder 和交叉注意力组件，其使用对齐损失训练而成。故而该方法有效减少了 ID embedding 对交叉注意力部分的文本 embedding的干扰，最小化对底层模型文本到图像能力的干扰。
InstantID 的 IdentityNet 架构：利用 200 万张美观的人像图像数据集，训练了IdentityNet，增强了关键点控制，提高了 ID 一致性和面部真实感。在训练过程中，IP-adapter 被冻结，只有 IdentityNet 被训练。面部Keypoint用作条件输入，同时面部嵌入通过交叉注意力集成到 IdentityNet 中。
效果对比
ComfyUI使用
训练细节
该模型在 200 万张淘宝图像上进行训练，其中人脸比例大于 3%。图像分辨率大于800，且美学评分超过 5.5。
- 混合精度：fp16
- 学习率：1e-4
- 批量大小：2
- 图像大小：1024x1024
注意事项
EcomID与其他基于SDXL模型也高度兼容，如leosams-helloworld-xl、dreamshaper-xl、stable-diffusion-xl-base-1.0 等。
它与SDXL Turbo/Lighting、EcomXL Inpainting ControlNet和 EcomXL Softedge ControlNet 的兼容性非常好。
