国产文生视频大模型 Vidu 将迎更新:支持生成 32 秒内容、音视频合成

感谢据“钛媒体 AGI”周四报道,生数科技、清华大学联合发布的国内首个长时长、高一致性、高动态性的视频大模型 Vidu 将于近期完成三大更新,实现“重大技术迭代”。主要更新内容如下:支持一键生成 32s 视频支持音视频合成,“视频有声音了”(Text-2-Audio)支持 4D 生成,可以从单一视频生成时空一致的 4D 内容IT之家附部分视频预览: 据介绍,Vidu 是自 Sora 发布之后,全球率先取得重大突破的视频大模型,并且仍在加速迭代提升中。据IT之家此前报道,Vidu 模型融合 Diffusion
感谢据“钛媒体 AGI”周四报道,生数科技、清华大学联合发布的国内首个长时长、高一致性、高动态性的视频大模型 Vidu 将于近期完成三大更新,实现“重大技术迭代”。

国产文生视频大模型 Vidu 将迎更新:支持生成 32 秒内容、音视频合成

主要更新内容如下:

支持一键生成 32s 视频

支持音视频合成,“视频有声音了”(Text-2-Audio)

支持 4D 生成,可以从单一视频生成时空一致的 4D 内容

IT之家附部分视频预览:

据介绍,Vidu 是自 Sora 发布之后,全球率先取得重大突破的视频大模型,并且仍在加速迭代提升中。

据IT之家此前报道,Vidu 模型融合 Diffusion 与 Transformer,开创性创建了 U-ViT,在 4 月发布时支持一键生成长达 16 秒、分辨率高达 1080P 的高清视频内容。官方表示 Vidu 不仅能够模拟真实物理世界,还拥有丰富想象力,具备多镜头生成、时空一致性高等特点。

相关阅读:

《中国首个 Sora 级模型 Vidu 发布:可生成最长 16 秒、最高 1080P 视频》

相关资讯

中国首个 Sora 级模型 Vidu 发布:可生成最长 16 秒、最高 1080P 视频

感谢生数科技今天出席中关村论坛未来人工智能先锋论坛,携手清华大学正式发布中国首个长时长、高一致性、高动态性视频大模型 ——Vidu,被媒体和业内人士认为是国内首个 Sora 级别的视频大模型。 根据官方描述,Vidu 模型融合 Diffusion 与 Transformer,开创性创建了 U-ViT,支持一键生成长达 16 秒、分辨率高达 1080P 的高清视频内容。官方宣传资料中演示了“画室中的一艘船驶向镜头”、其海浪、船的效果非常逼真。官方表示 Vidu 不仅能够模拟真实物理世界,还拥有丰富想象力,具备多镜头生

30 秒让照片动起来,首个国产纯自研视频大模型 Vidu 上线

感谢首个国产纯自研视频大模型 Vidu 上线,目前向用户开放了文生视频、图生视频两大核心功能,提供 4 秒和 8 秒两种时长选择,分辨率最高为 1080P。用户无需申请,使用邮箱注册即可体验。 AI在线附 Vidu 官网:www.vidu.studioVidu 模型于今年 4 月在 2024 中关村论坛首次亮相,由清华大学与生数科技联合发布,其核心技术 U-ViT 架构由团队在 2022 年 9 月提出,早于 Sora 采用的 DiT 架构,是全球首个 Diffusion 与 Transformer 融合的架构。▲

港科技最新DrivingRecon:可泛化自动驾驶4D重建新SOTA!

写在前面&笔者的个人理解从这一两年发表的论文数量可以看出,自动驾驶街景的重建与仿真备受关注,由此构建的自动驾驶仿真器对corner case的生成以及端到端模型的闭环评估/测试都非常重要,本次分享的是一篇关于自动驾驶场景4D重建的工作DrivingRecon。 论文链接: : ,比较具有代表性的是StreetGaussian,OmniRe这一类借助3D bbox将静态背景和动态物体解耦的框架,后来又出现了使用4D NeRF学习动态信息的方法,虽然取得了不错的效果,但这些方法都有一个共性,就是需要不断的训练来进行重建,即每个场景训练一个模型,非常耗时。 因此作者提出了一种可泛化的自动驾驶4D重建模型DrivingRecon。