人人好,这里是和你们一起探索 AI 的花生。
前几天知名 AI 视频处理平台 Runway 宣布开放测试旗下的 GEN-2,一款可以间接根据文本生成视频的东西,我们先看看官方放出的 2 个演示:
视频来源:推特@runwayml https://twitter.com/i/status/1664256235665866752
视频来源:Gen-2 Now Available | Runway – YouTube
了解 Runway:
看到视频时真的被小小的震撼了一下,因为画面的稳定度和流利度都超乎想象。虽然目前用 AI 生成视频的方法并不少,比如之前为人人介绍的 D-ID,是通过图象来生成数字人视频;还有利用 Stable Diffusion WebUI 配合各种插件东西实现的“大叔变少女”或视频气势派头化。但是这些方法都需要图象或者视频作为参考样本才能生成新的视频,目前可以间接根据文本生成视频且质量如此之高的应该也只有 GEN-2 了 。
在 SD 中利用 Controlnet 配合 TemporalKit 及 Ebsynth 生成的无痕换脸视频,来源: https://twitter.com/yokohara_h/status/1657191627452981248
开放测试的 GEN-2 可以收费试用,也就是说我们每个人都可以体验这种通过文本生成视频的神奇操作,下边就为人人介绍一下 GEN-2 的使用方法。
一、Gen-2 文本生成视频
Runway 官网: https://app.runwayml.com
首先点击上方链接进入 Runway 官网,先注册一个自己的账号然后登录,试了一下支持 QQ 邮箱。然后进入 Runway 主页,选择左侧 「Generat Videos」里的 Gen-2。
Gen-2 操作界面如下,我们间接在文本框内输出英文提示描述想要的场景,然后点击右侧的「Generate」生成视频。如果不确定想要什么内容,可以选择下边官方提供的参考,点击「Try This」可以间接将画面的关键词填充到我们的文本框内。
下边是我用文本生成的一段视频,提示词为“A cyberpunk style cityscape, Towering skyscrapers, Brilliant neon lights, Blade Runner, Sci-fi movie, High quality, 16K, Ultra HD(一个赛博朋克气势派头的城市景观,高耸的摩天大楼,辉煌的霓虹灯,银翼杀手,科幻电影,高品质,16K,超高清)”。
试用时只能生成 4 秒的视频,生成时间没有超过 1 分钟,速度还是非常快的。画面很好地表现了我想要的赛博朋克后果,动画稳定流利,而且清晰度比我预期的还要高,只写一段简单的话就能生成这样一段视频真的太令人惊喜了。
每个新用户都有 105 秒的收费生成额度,虽然一次性只能生成 4 秒的视频,但是你可以设置一个脚本,分段生成里面的不同内容,然后拼在一起合成长视频。下边是我在上面视频的基础上,又附加了 3 个短视频合成的,描述了一段在赛博朋克城市里发生的故事,配上音乐是不是还挺像模像样的?过程真的超级简单,强烈建议人人都去实验一下。
除了根据文本生成视频的 Gen-2,Runway 还有 2 个非常值得实验的 AI 视频生成东西 「Gen-1」 和 「Frame Interpolation」,这里也顺带给人人介绍一下。
二、Gen-1 生成气势派头化视频
Gen-1 是一个视频转视频东西,只要你有收费试用额度,就可以实验用它将一个视频变换为另一种的气势派头,下图是它的操作界面:
在 Gen-1 中可以通 3 种方式对视频进行气势派头化。一是提取图象气势派头应用到视频中,下边是提取一张赛博朋克图象的气势派头,对一段白模建筑视频进行变换后的后果。使用时可以通过「Style Strength」调节气势派头的强度,数值越高,赛博朋克气势派头就越强烈。
二是间接使用官方的预设气势派头,有黏土、云景、金属、黑白线稿、太空、渐变、科幻等 20 多种气势派头可以选择。下边是将一个真人视频变换为太空气势派头的后果,正式生成前可以点击「Preview styles」预览后果,如果觉得不好就换一种气势派头或者调整气势派头强度参数。
三是可以间接通过文本描述修改视频的气势派头,比如将一个实拍的自然风景改成动漫风:
三、Frame Interpolation 帧插值
Frame Interpolation 是一个图象平滑东西,上传数张图象,系统会自动在相邻图象间生成平滑的过渡,从而将图象变换为一段流利的视频。这个东西是收费使用的,不消耗试用分钟数。
一般上传 3-8 张图象就足够了,图越多生成时间越长。上传成功后,在右侧点“Clip Duration”设置视频时长,点击“Advanced”里的“Transition Time”调整图象过渡的缓急,然后点击“Generate”等待视频完成就可以了。
在体验过 Runway 的这些 AI 视频东西后,自己非常真切地感受到了 AI 技术对我们工作方式的改变。或许现在用文本生成的视频在时长、清晰度、准确性等方面还有不足,但 AI 绘画从不会画脸到能以假乱真只用了几个月的时间,我们完全可以相信 AI 视频技术在未来肯定会更加发达。那时将给艺术家、动画和电影爱好者、视频内容创作者带来一种全新的创作方式,甚至会改变视频及影视制作行业。
如果喜欢本期推荐的话记得点赞收藏支持一波,想了解更多实用的 AI 神器,欢迎人人访问 「优设 AI 导航」,200+ 优质 AI 东西等你探索~