即梦 AI 上线 “动作模仿” 功能:一键让图片人物动起来

3月5日,即梦 AI 上线 “动作模仿” 功能,用户从“数字人”入口进入,只需上传一张人物图片和一条参考视频,就能生成一条动态视频,让图片里的人物模拟参考视频中的人物动作,连情绪都能一比一还原。 该功能支持包括肖像、半身以及全身在内的不同画幅,为用户提供更广阔的创作空间,更好地满足其创作需求。 图说:即梦“动作模仿”功能入口和玩法示意据介绍,即梦AI“动作模仿”功能由字节跳动智能创作数字人团队提供技术支持。

3月5日,即梦 AI 上线 “动作模仿” 功能,用户从“数字人”入口进入,只需上传一张人物图片和一条参考视频,就能生成一条动态视频,让图片里的人物模拟参考视频中的人物动作,连情绪都能一比一还原。该功能支持包括肖像、半身以及全身在内的不同画幅,为用户提供更广阔的创作空间,更好地满足其创作需求。

即梦 AI 上线 “动作模仿” 功能:一键让图片人物动起来

即梦 AI 上线 “动作模仿” 功能:一键让图片人物动起来

图说:即梦“动作模仿”功能入口和玩法示意

据介绍,即梦AI“动作模仿”功能由字节跳动智能创作数字人团队提供技术支持。2024年11月,该团队自研的前一代技术成果X- Portrait2就曾凭借精准的动作控制和高保真的表情迁移效果,受到国内外技术领域的高度关注。本次,团队升级了技术方案,采用显式和隐式特征混合驱动的方式,能够同步还原各种画幅下的肢体动作和人脸表情;在人脸表情控制方面,凭借自研的 face motion tokenizer,能够精准地从驱动视频中抓取表情细节,显著提升生成视频的生动性。

目前,即梦AI官方提供了3个动作模板,并支持用户自行上传本地文件,视频时长最长为30秒。为保证功能被安全、恰当地使用,即梦官方特别提醒,用户上传视频素材需确保拥有合法授权,平台会对视频内容进行严格的安全审核,并对输出视频添加“AI生成”水印。

即梦AI是字节跳动旗下的AI内容平台,支持通过自然语言及图片输入,生成高质量的图像及视频。平台提供智能画布、故事创作模式,以及首尾帧、对口型、运镜控制、速度控制等AI编辑能力,并有海量影像灵感及兴趣社区,一站式提供用户创意灵感、流畅工作流、社区交互等资源,为用户的创作提效。

即梦AI相关负责人表示,“动作模仿” 在即梦App和Web端均已上线,该功能是其在视频创作领域的一次新探索,希望可以帮助用户更加精准地实现AI视频生成,激发更多灵感创意。

相关资讯

即梦AI推全新“动作模仿” 功能:人物图片+参考视频生成同款动作视频

即梦 AI 发布了一项全新的 “动作模仿” 功能,旨在为用户提供更加生动和真实的 AI 视频创作体验。 这项功能由字节跳动的智能创作数字人团队提供技术支持,允许用户只需通过即梦 AI 的数字人入口,上传一张人物图片和一条参考视频,即可生成动态视频,让图片中的人物能够模仿参考视频中的动作,并准确还原情绪。 根据即梦 AI 的官方介绍,该 “动作模仿” 功能支持肖像、半身及全身等多种画幅类型,能够同步还原不同画幅下的肢体动作和人脸表情。

阿里达摩院推出一站式 AI 视频创作平台“寻光”:集成分镜设计、图层可控编辑等功能

2024 世界人工智能大会(WAIC 2024)期间,阿里达摩院推出了一站式 AI 视频创作平台 —— 寻光。官方表示,该平台旨在通过 AI 技术使视频创作更简单、高效,其集成了剧本创作、分镜设计、视频素材编辑等关键步骤,创作者可以从构思到成品,在该平台上完成视频创作全过程。据介绍,寻光包含如下功能:故事板生成:一键创建分镜故事板。“从剧本到分镜,让 AI 辅助你的导演创作之旅,无需再凭想象,画面油然而生。”定制故事角色:由 AI 为用户定制专属的“演员”。视觉素材自由创作:由 AI 根据用户想法生成具备一致性的角

ASQuery:基于Query的时序动作分割新架构

1. 前言北京邮电大学与EVOL创新团队和ACG工业算法组针对时序动作分割任务共同提出了基于query新架构的模型ASQuery。ASQuery包含了动作及边界两种query,利用动作query将原先的帧维度分类过程转化为query与视频帧的相似度计算过程,提高了分类精度;利用边界query预测动作的边界,进一步平滑了原先的预测结果,大大缓解了过分割现象。论文ASQuery: A Query-based Model for Action Segmentation 已被ICME2024接收。论文地址:。2. 背景和动