首发根据音频生成 4K 分辨率 1 小时长视频,复旦、百度联手打造 AI 开源模型 Hallo2

复旦大学和百度联合开发了一款名为 Hallo2 的全新 AI 模型,该模型可以生成长达数小时的 4K 分辨率人物动画,现已在 GitHub 发布开源。Hallo2 模型建立在 latent diffusion models 的基础上,相比上一代 Hallo 模型的效果更好,支持了长视频生成,通过引入数据增强方法如 patch-drop 和高斯噪声,有效提高了长时间视频的视觉一致性和时间连贯性。Hallo2 还结合了向量量化生成对抗网络和时间对齐技术,保证了高分辨率视频的质量和流畅性。

复旦大学和百度联合开发了一款名为 Hallo2 的全新 AI 模型,该模型可以生成长达数小时的 4K 分辨率人物动画,现已在 GitHub 发布开源。

图片

Hallo2 模型建立在 latent diffusion models 的基础上,相比上一代 Hallo 模型的效果更好,支持了长视频生成,通过引入数据增强方法如 patch-drop 和高斯噪声,有效提高了长时间视频的视觉一致性和时间连贯性。

首发根据音频生成 4K 分辨率 1 小时长视频,复旦、百度联手打造 AI 开源模型 Hallo2

Hallo2 还结合了向量量化生成对抗网络和时间对齐技术,保证了高分辨率视频的质量和流畅性。

此外,Hallo2 将可调整的语义文本标签的肖像表情作为条件输入。这超出了传统的音频提示,可以提高可控性并增加所生成内容的多样性。项目页面介绍称,Hallo2 是第一种实现 4K 分辨率并生成长达 1 小时的音频驱动的人像图像动画的方法,并通过文本提示进行增强。

AI在线附 Hallo2 项目地址如下:

https://fudan-generative-vision.github.io/hallo2/#/

相关资讯

火山引擎4K修复影片入选北影节 相关技术在CVPR2024夺冠

4月18日,第十四届北京国际电影节正式开幕。由中国电影资料馆、抖音和火山引擎联合4K修复版的港片《A 计划》与《卖身契》入选“致敬·修复”单元,并于4月18日、19日进行放映。4K版《A计划》《卖身契》电影海报《A计划》《卖身契》分别上映于1983、1978年,距今已四十多年。2023年8月,中国电影资料馆、抖音和火山引擎共同发起了“经典香港电影修复计划”,宣布将4K修复100部香港电影。此次放映的这两部影片就来自上述项目,影片的原始拍摄底片在香港完成4K规格扫描,整个修复流程包括中国电影资料馆的物理和数字修复,火

Stability AI联合Morph AI共同发布一体式AI视频创作工具,助力技术的落地与应用

2024年2月28日,Stability AI在其官方社交账号上宣布与领先的text-to-video公司Morph AI达成合作,双方基于各自的模型优势,共同推出了一款all-in-one(一体式AI视频创作)的制作工具——MorphStudio。该工具将颠覆传统视频制作流程,具备了让创作者能够在一个界面中完成生成、剪辑和后期等的便捷功能,支持创作者调用AI模型选择每一个镜头并达到最佳效果。较传统视频制作流程而言,该工具能够极大的帮助创作者缩短创作时间,降低创作成本。与此同时,在双方的创作者社区中,每一个创作者都

美图公司推出 AI 短片创作工具 MOKI:自动生成分镜图并转为视频素材

感谢美图公司昨日举办以“聊聊 AI 工作流”为主题的第三届美图影像节,现场发布了 AI 短片创作工具 MOKI。据IT之家此前报道,美图创始人吴欣鸿曾表示,Sora 给行业较大心理冲击,美图会致力于 AI 原生应用的进一步打造。美图称与常规文生视频产品不同,MOKI 可实现内容和成本的双重可控,目前可以进行多种视频场景的 AI 短片创作。MOKI 可在脚本、视觉风格、角色等前期设定完成后,AI 自动生成分镜图并转为视频素材,通过智能剪辑、AI 配乐、AI 音效、自动字幕等功能串联素材并实现成片。此外美图还发布了另外