中国首个 Sora 级模型 Vidu 发布:可生成最长 16 秒、最高 1080P 视频

感谢生数科技今天出席中关村论坛未来人工智能先锋论坛,携手清华大学正式发布中国首个长时长、高一致性、高动态性视频大模型 ——Vidu,被媒体和业内人士认为是国内首个 Sora 级别的视频大模型。 根据官方描述,Vidu 模型融合 Diffusion 与 Transformer,开创性创建了 U-ViT,支持一键生成长达 16 秒、分辨率高达 1080P 的高清视频内容。官方宣传资料中演示了“画室中的一艘船驶向镜头”、其海浪、船的效果非常逼真。官方表示 Vidu 不仅能够模拟真实物理世界,还拥有丰富想象力,具备多镜头生
感谢生数科技今天出席中关村论坛未来人工智能先锋论坛,携手清华大学正式发布中国首个长时长、高一致性、高动态性视频大模型 ——Vidu,被媒体和业内人士认为是国内首个 Sora 级别的视频大模型。

根据官方描述,Vidu 模型融合 Diffusion 与 Transformer,开创性创建了 U-ViT,支持一键生成长达 16 秒、分辨率高达 1080P 的高清视频内容。

中国首个 Sora 级模型 Vidu 发布:可生成最长 16 秒、最高 1080P 视频

官方宣传资料中演示了“画室中的一艘船驶向镜头”、其海浪、船的效果非常逼真。

中国首个 Sora 级模型 Vidu 发布:可生成最长 16 秒、最高 1080P 视频

官方表示 Vidu 不仅能够模拟真实物理世界,还拥有丰富想象力,具备多镜头生成、时空一致性高等特点。

Vidu 是自 Sora 发布之后,全球率先取得重大突破的视频大模型,性能全面对标国际顶尖水平,并在加速迭代提升中。

Vidu 的快速突破源自于团队在贝叶斯机器学习和多模态大模型的长期积累和多项原创性成果。

其核心技术 U-ViT 架构由团队于 2022 年 9 月提出,早于 Sora 采用的 DiT 架构,是全球首个 Diffusion 与 Transformer 融合的架构。

2023 年 3 月,团队开源了全球首个基于 U-ViT 融合架构的多模态扩散模型 UniDiffuser,率先完成了 U-ViT 架构的大规模可扩展性验证。

中国首个 Sora 级模型 Vidu 发布:可生成最长 16 秒、最高 1080P 视频

中国首个 Sora 级模型 Vidu 发布:可生成最长 16 秒、最高 1080P 视频

中国首个 Sora 级模型 Vidu 发布:可生成最长 16 秒、最高 1080P 视频

中国首个 Sora 级模型 Vidu 发布:可生成最长 16 秒、最高 1080P 视频

IT之家附上参考地址

中国首个长时长、高一致性、高动态性视频大模型,Vidu 登场!

相关资讯

无需训练,自动扩展的视觉Transformer来了

来自德克萨斯大学奥斯汀分校、悉尼科技大学和谷歌的研究者提出了一个无需训练就能自动扩展框架 As-ViT,其能以高效和有原则的方式自动发现和扩展 ViT。

解锁CNN和Transformer正确结合方法,字节跳动提出有效的下一代视觉Transformer

来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer,即 Next-ViT。Next-ViT 能像 CNN 一样快速推断,并有 ViT 一样强大的性能。

基于视觉 Transformer(ViT)进行图像分类

近年来,Transformer 架构彻底改变了自然语言处理(NLP)任务。 视觉Transformer(ViT)将这一创新更进一步,将变换器架构适应于图像分类任务。 本教程将指导您使用ViT对花卉图像进行分类。