一键照片变表情包,腾讯混元与港科大、清华推出“Follow Your Emoji”

腾讯混元联合港科大、清华大学推出肖像动画生成框架“Follow Your Emoji”,只需给定一张照片,“Follow Your Emoji”就能将其转化为“活灵活现”的面部动画,同时能够捕捉微妙表情变化。IT之家附论文地址::,“Follow Your Emoji”可以支持对脸部进行精细化的控制,包括眉毛,眼珠,翻白眼等细节,动物表情包也可以轻松“拿捏”。此外,Follow Your Emoji 不仅支持单个表情多肖像的生成,也支持单个肖像多表情的生成。▲ 最左为原始图片“Follow Your Emoji”有

腾讯混元联合港科大、清华大学推出肖像动画生成框架“Follow Your Emoji”,只需给定一张照片,“Follow Your Emoji”就能将其转化为“活灵活现”的面部动画,同时能够捕捉微妙表情变化

一键照片变表情包,腾讯混元与港科大、清华推出“Follow Your Emoji”

IT之家附论文地址:https://arxiv.org/html/2406.01900v1

项目地址:https://follow-your-emoji.github.io/

基于算法革新和数据积累,“Follow Your Emoji”可以支持对脸部进行精细化的控制,包括眉毛,眼珠,翻白眼等细节,动物表情包也可以轻松“拿捏”。此外,Follow Your Emoji 不仅支持单个表情多肖像的生成,也支持单个肖像多表情的生成

一键照片变表情包,腾讯混元与港科大、清华推出“Follow Your Emoji”

▲ 最左为原始图片

“Follow Your Emoji”有以下特点:

身份保持:在动画生成过程中,确保参考头像的身份特征不会丢失。

表情丰富:生成各种夸张和细微的表情,如大幅度的瞳孔运动。

风格多样:支持多种风格的头像动画,包括卡通、现实、雕塑或动物风格。

稳定持久:使用渐进生成策略,确保长时间动画的稳定性和一致性。

一键照片变表情包,腾讯混元与港科大、清华推出“Follow Your Emoji”

▲ 论文流程图,上半部分为训练流程,下半部分为测试流程

相关资讯

腾讯混元联合港科大及清华推出「Follow Your Emoji」, 一键让照片变表情包

图生视频又有新玩法。腾讯混元联合港科大、清华大学联合推出肖像动画生成框架「Follow Your Emoji」,可以通过人脸骨架信息生成任意风格的脸部动画,一键创建“表情包”。基于算法革新和数据积累,「Follow Your Emoji」可以支持对脸部进行精细化的控制,包括眉毛,眼珠,翻白眼等细节,动物表情包也可以轻松“拿捏”。Follow Your Emoji不仅支持单个表情多肖像的生成,也支持单个肖像多表情的生成。近年来,扩散模型展示了比旧的对抗式(GAN)方法更好的生成能力。一些方法利用强大的基础扩散模型进行

腾讯联合清华大学、香港科技大学推出全新图生视频模型“Follow-Your-Click”:用户指哪动哪

感谢腾讯和清华大学、香港科技大学联合推出全新图生视频模型 “Follow-Your-Click”,目前已经上架 GitHub(代码四月公开),同时还发表了一篇研究论文(IT之家附 DOI:2403.08268)。这款图生视频模型主要功能包括局部动画生成和多对象动画,支持多种动作表达,如头部调整、翅膀拍动等。据介绍, Follow-Your-Click 可以通过用户的点击和简短动作提示生成局部图像动画。用户只需点击对应区域,加上少量提示词,就可以让图片中原本静态的区域动起来,一键转换成视频,比如让物体微笑、跳舞或飘动