阿里智能计算研究院

让Sora东京女郎唱歌、高启强变声罗翔，阿里人物口型视频生成绝了

有了阿里的 EMO，AI 生成或真实的图像「动起来说话或唱歌」变得更容易了。最近，以 OpenAI Sora 为代表的文生视频模型又火了起来。而除了文本生成视频之外，以人为中心的视频合成也一直是研究的焦点，比如专注于说话人头部（Talking Head）的视频生成，它的目标是根据用户提供的音频片段来生成面部表情。从技术上来看，生成表情需要捕获说话人微妙和多样化的面部动作，由此对此类视频合成任务提出了重大挑战。传统方法通常会对最终的视频输出施加限制，以简化任务。比如，一些方法使用 3D 模型来限制面部关键点，另一些