腾讯联合清华大学、香港科技大学推出全新图生视频模型“Follow-Your-Click”:用户指哪动哪

感谢腾讯和清华大学、香港科技大学联合推出全新图生视频模型 “Follow-Your-Click”,目前已经上架 GitHub(代码四月公开),同时还发表了一篇研究论文(IT之家附 DOI:2403.08268)。这款图生视频模型主要功能包括局部动画生成和多对象动画,支持多种动作表达,如头部调整、翅膀拍动等。据介绍, Follow-Your-Click 可以通过用户的点击和简短动作提示生成局部图像动画。用户只需点击对应区域,加上少量提示词,就可以让图片中原本静态的区域动起来,一键转换成视频,比如让物体微笑、跳舞或飘动
感谢腾讯和清华大学、香港科技大学联合推出全新图生视频模型 “Follow-Your-Click”,目前已经上架 GitHub(代码四月公开),同时还发表了一篇研究论文(IT之家附 DOI:2403.08268)。

腾讯联合清华大学、香港科技大学推出全新图生视频模型“Follow-Your-Click”:用户指哪动哪

这款图生视频模型主要功能包括局部动画生成和多对象动画,支持多种动作表达,如头部调整、翅膀拍动等。

据介绍, Follow-Your-Click 可以通过用户的点击和简短动作提示生成局部图像动画。用户只需点击对应区域,加上少量提示词,就可以让图片中原本静态的区域动起来,一键转换成视频,比如让物体微笑、跳舞或飘动。

除了能够控制单个对象的动画,这个框架还支持同时对多个对象进行动画处理,增加了动画的复杂性和丰富性。用户可以通过简单的点击和短语提示轻松地指定希望动画化的区域和动作类型,无需复杂的操作或详细描述。

相关资讯

一键照片变表情包,腾讯混元与港科大、清华推出“Follow Your Emoji”

腾讯混元联合港科大、清华大学推出肖像动画生成框架“Follow Your Emoji”,只需给定一张照片,“Follow Your Emoji”就能将其转化为“活灵活现”的面部动画,同时能够捕捉微妙表情变化。IT之家附论文地址::,“Follow Your Emoji”可以支持对脸部进行精细化的控制,包括眉毛,眼珠,翻白眼等细节,动物表情包也可以轻松“拿捏”。此外,Follow Your Emoji 不仅支持单个表情多肖像的生成,也支持单个肖像多表情的生成。▲ 最左为原始图片“Follow Your Emoji”有

腾讯混元联合港科大及清华推出「Follow Your Emoji」, 一键让照片变表情包

图生视频又有新玩法。腾讯混元联合港科大、清华大学联合推出肖像动画生成框架「Follow Your Emoji」,可以通过人脸骨架信息生成任意风格的脸部动画,一键创建“表情包”。基于算法革新和数据积累,「Follow Your Emoji」可以支持对脸部进行精细化的控制,包括眉毛,眼珠,翻白眼等细节,动物表情包也可以轻松“拿捏”。Follow Your Emoji不仅支持单个表情多肖像的生成,也支持单个肖像多表情的生成。近年来,扩散模型展示了比旧的对抗式(GAN)方法更好的生成能力。一些方法利用强大的基础扩散模型进行