3月5日,即梦 AI 上线 “动作模仿” 功能,用户从“数字人”入口进入,只需上传一张人物图片和一条参考视频,就能生成一条动态视频,让图片里的人物模拟参考视频中的人物动作,连情绪都能一比一还原。该功能支持包括肖像、半身以及全身在内的不同画幅,为用户提供更广阔的创作空间,更好地满足其创作需求。
图说:即梦“动作模仿”功能入口和玩法示意
据介绍,即梦AI“动作模仿”功能由字节跳动智能创作数字人团队提供技术支持。2024年11月,该团队自研的前一代技术成果X- Portrait2就曾凭借精准的动作控制和高保真的表情迁移效果,受到国内外技术领域的高度关注。本次,团队升级了技术方案,采用显式和隐式特征混合驱动的方式,能够同步还原各种画幅下的肢体动作和人脸表情;在人脸表情控制方面,凭借自研的 face motion tokenizer,能够精准地从驱动视频中抓取表情细节,显著提升生成视频的生动性。
目前,即梦AI官方提供了3个动作模板,并支持用户自行上传本地文件,视频时长最长为30秒。为保证功能被安全、恰当地使用,即梦官方特别提醒,用户上传视频素材需确保拥有合法授权,平台会对视频内容进行严格的安全审核,并对输出视频添加“AI生成”水印。
即梦AI是字节跳动旗下的AI内容平台,支持通过自然语言及图片输入,生成高质量的图像及视频。平台提供智能画布、故事创作模式,以及首尾帧、对口型、运镜控制、速度控制等AI编辑能力,并有海量影像灵感及兴趣社区,一站式提供用户创意灵感、流畅工作流、社区交互等资源,为用户的创作提效。
即梦AI相关负责人表示,“动作模仿” 在即梦App和Web端均已上线,该功能是其在视频创作领域的一次新探索,希望可以帮助用户更加精准地实现AI视频生成,激发更多灵感创意。