AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

大家好,这里是和你们一起探索 AI 的花生。 前几天知名 AI 视频处理平台 Runway 宣布开放测试旗下的 GEN-2,一款可以直接根据文本生成视频的工具,我们先看看官方放出的 2 个演示:视频来源:推特@runwayml :Gen-2 Now Available | Runway - YouTube 了解 Runway:看到视频时真的被小小的震撼了一下,因为画面的稳定度和流畅度都超乎想象。虽然目前用 AI 生成视频的方法并不少,比如之前为大家介绍的 D-ID,是通过图像来生成数字人视频;还有利用 Stable

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

大家好,这里是和你们一起探索 AI 的花生。

前几天知名 AI 视频处理平台 Runway 宣布开放测试旗下的 GEN-2,一款可以直接根据文本生成视频的工具,我们先看看官方放出的 2 个演示:

视频来源:推特@runwayml https://twitter.com/i/status/1664256235665866752

视频来源:Gen-2 Now Available | Runway - YouTube

了解 Runway:

看到视频时真的被小小的震撼了一下,因为画面的稳定度和流畅度都超乎想象。虽然目前用 AI 生成视频的方法并不少,比如之前为大家介绍的 D-ID,是通过图像来生成数字人视频;还有利用 Stable Diffusion WebUI 配合各种插件工具实现的“大叔变少女”或视频风格化。但是这些方法都需要图像或者视频作为参考样本才能生成新的视频,目前可以直接根据文本生成视频且质量如此之高的应该也只有 GEN-2 了 。

在 SD 中利用 Controlnet 配合 TemporalKit 及 Ebsynth 生成的无痕换脸视频,来源: https://twitter.com/yokohara_h/status/1657191627452981248

开放测试的 GEN-2 可以免费试用,也就是说我们每个人都可以体验这种通过文本生成视频的神奇操作,下面就为大家介绍一下 GEN-2 的使用方法。

一、Gen-2 文本生成视频

Runway 官网: https://app.runwayml.com

首先点击上方链接进入 Runway 官网,先注册一个自己的账号然后登录,试了一下支持 QQ 邮箱。然后进入 Runway 主页,选择左侧 「Generat Videos」里的 Gen-2。

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

Gen-2 操作界面如下,我们直接在文本框内输出英文提示描述想要的场景,然后点击右侧的「Generate」生成视频。如果不确定想要什么内容,可以选择下面官方提供的参考,点击「Try This」可以直接将画面的关键词填充到我们的文本框内。

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

下面是我用文本生成的一段视频,提示词为“A cyberpunk style cityscape, Towering skyscrapers, Brilliant neon lights, Blade Runner, Sci-fi movie, High quality, 16K, Ultra HD(一个赛博朋克风格的城市景观,高耸的摩天大楼,辉煌的霓虹灯,银翼杀手,科幻电影,高品质,16K,超高清)”。

试用时只能生成 4 秒的视频,生成时间没有超过 1 分钟,速度还是非常快的。画面很好地表现了我想要的赛博朋克效果,动画稳定流畅,而且清晰度比我预期的还要高,只写一段简单的话就能生成这样一段视频真的太令人惊喜了。

每个新用户都有 105 秒的免费生成额度,虽然一次性只能生成 4 秒的视频,但是你可以设置一个脚本,分段生成里面的不同内容,然后拼在一起合成长视频。下面是我在上面视频的基础上,又附加了 3 个短视频合成的,描述了一段在赛博朋克城市里发生的故事,配上音乐是不是还挺像模像样的?过程真的超级简单,强烈建议大家都去尝试一下。

除了根据文本生成视频的 Gen-2,Runway 还有 2 个非常值得尝试的 AI 视频生成工具 「Gen-1」 和 「Frame Interpolation」,这里也顺带给大家介绍一下。

二、Gen-1 生成风格化视频

Gen-1 是一个视频转视频工具,只要你有免费试用额度,就可以尝试用它将一个视频转换为另一种的风格,下图是它的操作界面:

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

在 Gen-1 中可以通 3 种方式对视频进行风格化。一是提取图像风格应用到视频中,下面是提取一张赛博朋克图像的风格,对一段白模建筑视频进行转换后的效果。使用时可以通过「Style Strength」调节风格的强度,数值越高,赛博朋克风格就越强烈。

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

二是直接使用官方的预设风格,有黏土、云景、金属、黑白线稿、太空、渐变、科幻等 20 多种风格可以选择。下面是将一个真人视频转换为太空风格的效果,正式生成前可以点击「Preview styles」预览效果,如果觉得不好就换一种风格或者调整风格强度参数。

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

三是可以直接通过文本描述修改视频的风格,比如将一个实拍的自然风景改成动漫风:

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

三、Frame Interpolation 帧插值

Frame Interpolation 是一个图像平滑工具,上传数张图像,系统会自动在相邻图像间生成平滑的过渡,从而将图像转换为一段流畅的视频。这个工具是免费使用的,不消耗试用分钟数。

一般上传 3-8 张图像就足够了,图越多生成时间越长。上传成功后,在右侧点“Clip Duration”设置视频时长,点击“Advanced”里的“Transition Time”调整图像过渡的缓急,然后点击“Generate”等待视频完成就可以了。

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

在体验过 Runway 的这些 AI 视频工具后,自己非常真切地感受到了 AI 技术对我们工作方式的改变。或许现在用文本生成的视频在时长、清晰度、准确性等方面还有不足,但 AI 绘画从不会画脸到能以假乱真只用了几个月的时间,我们完全可以相信 AI 视频技术在未来肯定会更加发达。那时将给艺术家、动画和电影爱好者、视频内容创作者带来一种全新的创作方式,甚至会改变视频及影视制作行业。

如果喜欢本期推荐的话记得点赞收藏支持一波,想了解更多实用的 AI 神器,欢迎大家访问 「优设 AI 导航」,200+ 优质 AI 工具等你探索~

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

相关资讯

Runway 王者归来!发布新模型 Gen-3 Alpha,直接对标 Sora

大家好,这里是和你们一起探索 AI 的花生。 自 OpenAI 发布 Sora,将文生视频拉高到一个新的高度后,各家 AI 视频工具都在努力升级模型、添加新功能,以期在这场竞赛中保住自己的一席之地,比如 Pika 已经推出了风格选择、视频配音、唇形一致等多种功能,Vidu、Kling 则是类 Sora 的新模型,在生成效果上已经十分接近 Sora。而曾经的领军产品 Runway 却始终都没有什么动静,因此很多人都在担心它未来的发展。 最近 Runway 终于放出大招,发布了第三代模型 Gen-3 Alpha,它各方

Runway Gen-3的视频转绘功能太牛了!大片制作0门槛!

大家好我是花生~ Runway 在推出 Gen-3 Alpha 视频生成模型后,还一直有一些小的更新,比如推出了新的 Turbo 模型,生成速度比原来快了 7 倍;支持尾帧控制;支持将视频延长至 40s 等,都是非常符合用户需求的优化提升。 而它前几天推出的 V2V (Video to Video) 功能,更是将 AI 视频在风格转绘上的水平提升到了一个新的高度,再次秀了一波「AI 视频生成王者」的实力。该功能一经推出就受到众多专业 AI 视频创作者的称赞,并迅速衍生出多种玩法,很有潜力成为一个新的流量风口,喜欢

AIGC实战宝典!10大AI应用模式帮你快速搞定设计(上)

更多案例:前言 如果要列举今年最热的技术,一定是 AIGC! 在这个 AI 技术突飞猛进的时代,相信大家都感受到互联网行业正经历着前所未有的转型与升级。 我们团队从 2023 年 2 月就开始全面拥抱 AI 技术,而之所以这么早就启动对 AI 技术的研究探索,并不是因为我们有多么前瞻性的眼光,也不是看到清晰明朗的未来,最主要的原因就是我们有实际的痛点及团队自身的短板——痛点是如何在有限的人力条件下实现大量项目的承接落地;短板是作为一支资深用户体验设计团队,在此番产品商业化转型中需要我们需要从用户体验设计转型为品牌营