Runway、Stability AI、Pika 纷纷放大招,最近的 AI 视频真是神仙打架!各人好我是花生~
前段时间刚给各人介绍过 LCM 技术 和 AI 绘画 实时生成 的相关实质,没想到紧接着 AI 视频领域又迎了一波重大更新,真是令人应接不暇。今天就为各人仔细盘点一下近期几个主流 AI 视频工具的发展动向,让你轻松跟上 AI 潮流~
相关推荐:
一、Runway
先说 Runway ,之前已经带各人了解过它的相关功用,包括文本/图象转视频(Gen2-),视频风格化(Gen-1)和视频帧差值,此外它的功用还包括文生图、图生图、一键扣除视频背景、抹除视频指定元素等,可以说是目前最强的 AI 视频生成&编辑工具。
Runway 网站中转: https://app.runwayml.com/
Runway 网站主页
midjourney 生成的图象
用 Runway 将图象转为视频,实质起源: https://twitter.com/i/status/1683183085808934912
自 6 月份文本/图象转视频功用上线以来,Runway 一直都在努力提升视频生成的质量和可控性。8 月份的时候, 它的视频时长由 4 秒增加至 18 秒,并且新增了「Motion Slider 静止滑块 」功用,让用户可以操纵视频的动向强度。
不同动向数值的效果对比。视频起源: https://twitter.com/i/status/1696868501397426187
9 月份的时候上线了「Camera Motion 相机静止 」功用,让用户可以操纵镜头的静止方向,包括水平左移、水平右移、垂直上移、垂直下移、顺时针旋转、逆时针旋转、镜头推进和镜头拉远。这让视频生成的可控性得到提升,也让 AI 制造电影短片成为可能。
镜头前推,起源: https://twitter.com/i/status/1727856162526441853
镜头左移,起源: https://twitter.com/i/status/1728403369813757982
就在前几天,Runway 上线了重磅新功用「Motion Brush 静止笔刷 」,我们只需在图象上涂抹一个区域,就能将其变为动向实质。这种局部处理的方式一方面让实质操纵能精确灵活,另一方面区域之外的部分仍保持静态,从而减轻了图生视频中常见的画面扭曲问题,在处理效率变高的同时也让整体效果也更逼真,是异常聪明且实用的新功用。
Motion Brush 演示,起源: https://twitter.com/i/status/1728129678395994384
Runway 网站反对 QQ 邮箱注册,新用户有 105 秒的收费生成额度,可以生成大约 20 个短视频,各人可以去官网体验一下这些新功用。
除了提升视频生成质量,Runway 也一直在推动 AI 视频生态的发展完善。它去年举办了首届 AI 电影节(AIFF),邀请全球艺术家使用最新的 AI 技术制造创意短视频,目前第二届正在接受投稿。前段时间还举办了一个为期 2 天的 AI 短视频竞赛 Gen-48,向全球用户征集用 Runway 生成的优质短视频,目前已经评选结果已经在官网公布,我看了一下都异常精彩。
AI 电影节官网: https://aiff.runwayml.com/
Gen-48 官网: https://gen48.runwayml.com/winners
Runway 最近还推出了线上电视频道 Runway TV,24 小时循环播放由 AI 制造的视频,可以看出官方对 AI 视频发展的重视和信心。也异常推荐各人去看看这些 AI 视频,真的会让人感叹 AI 技术发展的迅速和艺术家创意的精彩,从中我们也能一瞥未来视频制造流程的雏形。
Runway TV 链接中转: Runway TV
二、Stable Video Diffusion
AI 视频领域近期另一个重磅更新就是 Stability AI 推出的 Stable Video Diffusion 模型,同样可以通过文本或图象生成高质量的视频。
Stable Video Diffusion 介绍: https://stability.ai/news/stable-video-diffusion-open-ai-video-model
Stable Video Diffusion (下面简称 SVD)之所以这么受关注,一方面是因为它是开源模型,各人可以收费使用;另一方面则是它的生成效果异常好,下面是几个用 SVD 将图象转为动图的例子,视频清晰度很高,画面也很稳定,整体表现并不亚于目前最火的 Runway。
起源: https://twitter.com/i/status/1727046123742007455
起源: https://twitter.com/i/status/1727085648014917688
起源: https://twitter.com/i/status/1729009760677044628
SVD 的功用虽然强大,也可以部署到本地,但是对配置的有要求,如果想在本地生成清晰的视频,至少要 16G 的显存,这对我们普通用户来说门槛还是比较高的。但开源模型的好处就是一旦出现了,总会有大神为我们铺好道路,让高大上的工具变得触手可及。SVD 推出到现在不过一个星期,就已经出现了好几种收费使用方式,这里分享 2 个比较可靠的在线工具给各人:
① Replicate
链接中转: stability-ai/stable-video-diffusion – Run with an API on Replicate
这是 Stability AI 官方部署的线上试用页面,可以将用户上传的图象转为视频,反对调整视频帧数、动向强度、视频画幅、帧率等参数。
② Stable-Video-Diffusion.com
链接中转: https://huggingface.co/spaces/multimodalart/stable-video-diffusion
这是第一个专门围绕 SVD 构建的网站,上传图象就能生成视频。生成效果同样不错,但人多的时候需要排队,使用时记得过一两分钟就刷新一下界面,看看视频是否完成。
相关推荐:
三、Pika
最后再来看一下 Pika ,今年 7 月份的时候给各人介绍过 Pika 了,它是继 Runway 之后又一款比较受关注的 AI 视频生成工具,反对文生图和图生图,被称为“视频版 Midjourney”。目前它的服务依旧托管在 Discord 中,新用户可以收费体验。
Pika 官网中转: https://www.pika.art/
Pika 生成的视频
过去的几个月 Pika 也更新了不少功用,包括反对操纵动向强度和镜头静止方式,反对调节视频画幅和帧率,可以用反向提示词操纵视频实质,以及用带文字或 logo 的垫图来引导视频的生成,总体来说和 Runway 异常类似。
视频起源: https://twitter.com/i/status/1706028424979239249
昨天,Pika 官方发布了 Pika 1.0,反对根据文本生成 3D 动画、动漫、卡通和电影风格的视频,质量异常稳定,并且还反对调整视频细节,比如修改画幅比例,给人物换装,在画面局部生成元素等,用户注册后可以收费体验。感觉 Pika 也是在努力探索一条差异化的发展道路,避免与 Runway 的功用上完全重合。
当视频在手机上无法加载,可前往PC查看。