字节联合港大发布新视频模型Goku:可直接生成虚拟数字人视频

近日,香港大学与字节跳动合作研发的基于流动的视频生成模型 Goku 正式发布。 该模型利用先进的生成算法,可以根据文本提示生成高质量的视频内容,极大地丰富了数字艺术的表现形式。 为了展示 Goku 模型的强大功能,研究团队制作了一系列精彩的视频示例,这些示例不仅展示了模型的技术能力,也展现了其在创意表现上的无限潜力。

近日,香港大学与字节跳动合作研发的基于流动的视频生成模型 Goku 正式发布。该模型利用先进的生成算法,可以根据文本提示生成高质量的视频内容,极大地丰富了数字艺术的表现形式。

为了展示 Goku 模型的强大功能,研究团队制作了一系列精彩的视频示例,这些示例不仅展示了模型的技术能力,也展现了其在创意表现上的无限潜力。

Goku 模型的特点在于其高效的生成速度和图像质量。通过使用大量的数据训练,Goku 可以生成包括动画、自然风光、动物行为等多种场景。研究人员使用了原版的 MovieGenBench 提示进行测试,确保了演示效果的一致性和公平性。

例如,其中一个视频展示了一位时尚女性在东京街头自信地漫步,街道上五光十色的霓虹灯映衬出温暖的夜色,行人熙熙攘攘,场景生动而真实。

另外一段视频则展示了数只巨型猛犸象在雪地上悠然走过,周围雪山和树林的衬托,让人仿佛置身于冰雪世界中。这些生动的场景不仅吸引观众的眼球,也为艺术创作者提供了丰富的灵感。

更让人惊艳的是,Goku 还支持直接生成虚拟数字人视频。Goku+将文本转换为超现实的人类视频,明显优于现有的方法。特别是,它可以生成超过20秒的视频,以稳定的手部动作和人类受试者极具表现力的面部和身体动作为特色。

image.png

另外支持从产品图片生成和人物互动视频,保持产品样式以及生成产品展示视频,可以从文本生成广告视频等功能。

如下图:Goku+将产品图片转化为引人入胜的视频片段,确保端到端的优化。这一过程增强了您的营销材料的吸引力和有效性。

image.png

如下图:制作逼真且极具吸引力的视频,专门展示特定产品。这些视频有效地捕捉了产品的精髓,提高了观众的参与度和兴趣。

image.png

另外,模型支持文本创建定制的高清视频,以优化广告场景,明显优于竞争对手的视频基础模型。

image.png

项目入口:https://saiyan-world.github.io/goku/

划重点:

🌟 Goku 模型由香港大学与字节跳动合作开发,能根据文本提示生成高质量视频内容。  

🎨 模型展示了多种场景,包括时尚女性漫步东京街头和巨型猛犸象在雪地行走等,效果生动真实。  

💡 Goku 模型的发布为视觉艺术创作提供了新工具,助力创作者探索更多可能性。

相关资讯

60秒内即可生成5秒AI视频,豆包视频生成模型Seaweed上线即梦AI

11月8日,字节跳动旗下的AI内容平台即梦AI宣布,即日起,由字节跳动自研的视频生成模型Seaweed面向平台用户正式开放。 用户登陆后,在“视频生成”功能下,视频模型选择“视频S2.0”即可体验。 图说:即梦AI PC端和App端模型使用入口9月底,字节跳动正式宣布向AI视频领域进军,发布豆包模型家族的两款视频生成模型Seaweed和Pixeldance,并通过即梦AI、火山引擎分别面向创作者和企业客户小范围邀测。

优设专访!游走于商业与艺术的数字艺术家Yea野了

Yea野了拥有 20 年的视觉创作经验,凭借其深厚的美术功底和创意思维,创作出很多充满想象力的视觉作品。他经常在过去现在未来这个主题上创作作品,将中国传统文化和未来概念相结合,创造性转化成新的视觉艺术。 作为 AI 数字艺术家,他曾受邀为奔驰,联想,英特尔,英伟达,孟买蓝宝石,天猫,乐高,宁畅等品牌创作商业作品。 往期回顾:1、能和大家聊聊您的职业经历吗? 最初是从在国际 4A 广告公司从事美术创意工作, 工作了 7-8 年之后转行做了广告平面摄影师,  再到广告短片导演。在这 20 年的工作期间里和众多国内外一线

豆包开源视频生成模型 VideoWorld:首创免语言模型依赖认知世界

不同于 Sora 、DALL-E 、Midjourney 等主流多模态模型,VideoWorld 在业界首次实现无需依赖语言模型,即可认知世界。