腾讯联合中山大学、港科大推出图生视频模型“Follow-Your-Pose-v2”

腾讯混元团队联合中山大学、香港科技大学联合推出全新图生视频模型“Follow-Your-Pose-v2”,相关成果已经发表在 arxiv 上(IT之家附 DOI:10.48550/arXiv.2406.03035)。据介绍,“Follow-Your-Pose-v2”只需要输入一张人物图片和一段动作视频,就可以让图片上的人跟随视频上的动作动起来,生成视频长度可达 10 秒。与此前推出的模型相比,“Follow-Your-Pose-v2”可以在推理耗时更少的情况下,支持多人视频动作生成。此外,该模型具备较强的泛化能力,

腾讯混元团队联合中山大学、香港科技大学联合推出全新图生视频模型“Follow-Your-Pose-v2”,相关成果已经发表在 arxiv 上(IT之家附 DOI:10.48550/arXiv.2406.03035)。

腾讯联合中山大学、港科大推出图生视频模型“Follow-Your-Pose-v2”

据介绍,“Follow-Your-Pose-v2”只需要输入一张人物图片和一段动作视频,就可以让图片上的人跟随视频上的动作动起来,生成视频长度可达 10 秒。

与此前推出的模型相比,“Follow-Your-Pose-v2”可以在推理耗时更少的情况下,支持多人视频动作生成。

此外,该模型具备较强的泛化能力,无论输入人物是什么年龄、服装,背景如何杂乱,动作视频的动作如何复杂,都能生成出高质量的视频。

腾讯联合中山大学、港科大推出图生视频模型“Follow-Your-Pose-v2”

正如IT之家前一天的报道,腾讯已经公布了针对腾讯混元文生图开源大模型(混元 DiT)的加速库,号称大幅提升推理效率,生图时间缩短 75%。

官方表示,混元 DiT 模型的使用门槛也大幅降低,用户可以基于 ComfyUI 的图形化界面使用腾讯混元文生图模型能力。

相关阅读:

《腾讯混元文生图开源大模型加速库发布:生图时间缩短 75%》

相关资讯

腾讯混元文生图大模型对外开源:搭载首个中英双语 DiT 架构,免费商用

感谢腾讯宣布旗下的混元文生图大模型升级并对外开源,目前已经在 Hugging Face 及 Github 上发布,包含模型权重、推理代码、模型算法等完整模型,可供企业与个人开发者免费商用。▲ 混元文生图效果▲ 混元长文生图效果升级后的混元文生图大模型采用了与 Sora 一致的 DiT 架构,腾讯表示,混元 DiT 是首个中英双语 DiT 架构。混元 DiT 是一个基于 Diffusion transformer 的文本到图像生成模型,此模型具有中英文细粒度理解能力,混元 DiT 能够与用户进行多轮对话,根据上下文生

腾讯混元文生图开源大模型加速库发布:生图时间缩短 75%

腾讯今日发布针对腾讯混元文生图开源大模型(混元 DiT)的加速库,号称大幅提升推理效率,生图时间缩短 75%。官方表示,混元 DiT 模型的使用门槛也大幅降低,用户可以基于 ComfyUI 的图形化界面使用腾讯混元文生图模型能力。同时,混元 DiT 模型已经部署至 HuggingFaceDiffusers 通用模型库中,用户仅用三行代码即可调用混元 DiT 模型,无需下载原始代码库。在此之前,腾讯曾宣布混元文生图大模型全面升级并对外开源,供企业、个人开发者免费商用。腾讯方面称其为“业内首个”中文原生的 DiT 架构

腾讯混元 DiT 文生图大模型开源 6G 小显存版本,一同开源打标模型

腾讯混元文生图大模型(混元 DiT)今日宣布开源小显存版本,仅需 6G 显存即可运行,对使用个人电脑本地部署的开发者比较友好。此外,腾讯宣布混元文生图打标模型“混元 Captioner”正式对外开源。该模型支持中英文双语,针对文生图场景进行专门优化,可帮助开发者快速制作文生图数据集。腾讯混元 DiT 模型升级腾讯混元 DiT 模型宣布了三大更新:推出小显存版本与 Kohya 训练界面,并升级至 1.2 版本,进一步降低使用门槛的同时提升图片质量。基于 DiT 架构的文生图模型生成图片质感更佳,但对显存的要求却非常高