Runway Gen-3的视频转绘功能太牛了!大片制作0门槛!

大家好我是花生~ Runway 在推出 Gen-3 Alpha 视频生成模型后,还一直有一些小的更新,比如推出了新的 Turbo 模型,生成速度比原来快了 7 倍;支持尾帧控制;支持将视频延长至 40s 等,都是非常符合用户需求的优化提升。 而它前几天推出的 V2V (Video to Video) 功能,更是将 AI 视频在风格转绘上的水平提升到了一个新的高度,再次秀了一波「AI 视频生成王者」的实力。该功能一经推出就受到众多专业 AI 视频创作者的称赞,并迅速衍生出多种玩法,很有潜力成为一个新的流量风口,喜欢

Runway Gen-3的视频转绘功能太牛了!大片制作0门槛!

大家好我是花生~

Runway 在推出 Gen-3 Alpha 视频生成模型后,还一直有一些小的更新,比如推出了新的 Turbo 模型,生成速度比原来快了 7 倍;支持尾帧控制;支持将视频延长至 40s 等,都是非常符合用户需求的优化提升。

而它前几天推出的 V2V (Video to Video) 功能,更是将 AI 视频在风格转绘上的水平提升到了一个新的高度,再次秀了一波「AI 视频生成王者」的实力。该功能一经推出就受到众多专业 AI 视频创作者的称赞,并迅速衍生出多种玩法,很有潜力成为一个新的流量风口,喜欢 AI 视频创作的小伙伴一定不要错过。

了解 Runway Gen-3 Alpha 模型:

一、Gen-3 V2V 功能介绍

Video to Video 即视频转视频,作用是基于一个视频的基础内容框架,赋予其新的外表和风格,因此也叫做 「视频转绘」或「视频风格化」。

其实 Runway 最早尝试的 AI 视频生成模式就是 Video to Video。那时候还是 23 年 2 月份,Runway 推出了可以转换视频风格的 Gen -1 模型,其效果现在看来可能比较粗糙幼稚,但在当时作为首个实现此功能的商业产品,Gen-1 给人带来的新奇感十足,并且也启发了视频创作的新思路。

了解 Gen-1 模型的用法: https://www.uisdc.com/gen-2 Gen-1 网址: https://app.runwayml.com/video-tools/teams/Huasheng_/ai-tools/gen-1

而在前几天推出的新 V2V 功能,则是基于最新的 Gen-3 Alpha 模型实现的。与 Gen-1 模型相比,它的转换效果更稳定流流畅,画面质量也非常精致清晰;更重要的是,它不仅能改变视频的整体风格,还可以对视频局部内容进行修改,这给后期编辑带来了极大的便利。

先看几个官方演示视频:

通过视频大家对新的 V2V 效果应该有一个更直观的认识了。无论是处理人物还是场景,Gen-3 能做到的不单单是改变表面风格,而是能在保留大体框架的情况下,赋予视频新的内容形式,比如让人脸变成老鼠、让晴朗的城市乌云密布电闪雷鸣、让山谷变成沙地等。

这些原本需要 CG 才能实现的神奇特效,现在用文字就能轻松做到,对影视制作、视频后期等行业来说无疑是好消息。目前网上已经有很多专业人员分享了自己用 Gen-3 V2V 制作的创意视频,效果相当令人惊艳,从中我们也能看到 AI 在释放人类创意和生产力上的巨大潜力。

比如 AI 艺术家 Karoline Georges 用 V2V 将一段旧电视电路板的 3D 建模视频,转换为一段冰雪覆盖、寒风呼啸的末日城市的鸟瞰视频,效果非常自然。

视频来源:Twitter @KarolineGeorges

还有一位导演 Jon Finger 展示了更高阶的玩法 —— 借助 Gen-3 V2V 一个人拍摄一部商业大片。

他先拍摄了多个真实场景的视频,然后用 V2V 进行视频转换。这个过程中,不仅画面质感统一变成了好莱坞大片风格,视频内容也完全变了一个样:简陋 3D 模型成了太空战舰、手机变成了定制炸弹、玩具枪变成了激光武器。一套操作下来,让原本搞笑的场景瞬间变成了大制作电影。

看完这个视频的前后效果对比,相信你一定会惊叹于导演本人强大的脑洞和对 AI 技术的灵活运用。这种创作思路非常具有落地应用价值,值得借鉴学习,并且肯定会在未来对传统影视制作流程产生深远印象。

当视频在手机上无法加载,可前往PC查看。

即使你不是专业导演,Gen-3 的 V2V 功能也能让你秒变创意视频达人,迅速站上 AI 视频的流量风口。

它可以让你生活在赛博朋克风格的城市中,让你连续穿越四季变化,让你轻松实现角色扮演、一秒换装,甚至拍摄一部属于自己的电影和动画短片。只要你想,AI 视频、真实拍摄、3D 建模、动画、电影、甚至游戏录屏都可以成为你的创意原材料。

视频来源:Twitter @oFaleco

之前我也为大家介绍了多种目前超火的 AI 视频流量玩法,感兴趣的话可以点击下方链接了解:

二、Gen-3 V2V 用法

新的 V2V 功能需要在 Gen-3 Alpha 模型内使用,也就是需要开通会员才能用上。不过用法依旧简单,只需上传本地的视频,然后在提示词中只需描述视频内容,并添加上对应的风格提示词就可以了。

虽然 Gen-3 的目前只支持文本控制风格,但也足够使用了。无论是色调、风格还是元素内容,只要你能写出对应的关键词,视频在转换后就能实现你想要的效果。这里我先用 AI 生成了一个 5 秒的写实风格的视频,然后用提示词转换为了科幻电影风格,整体质感非常好。

提示词:Hollywood science fiction film, a future warrior, wearing silver armor, carrying a laser weapon, patrolling the Mars base

另外可以通过 Structure transformation (结构传输)参数控制转换效果:数值越高,画面变化就越明显,反之则更像原视频。对于喜欢或常用的关键词,可以在 “Preset 预设” 中保存下来,下次就能一键直接调用了。

Runway Gen-3的视频转绘功能太牛了!大片制作0门槛!

那么以上就是本期为大家推荐的 AI 视频神器的 Runway 的新功能 Gen-3 视频转视频。如果你喜欢本期推荐,一定记得点赞评论支持一波,我会更有动力为大家分享新的干货内容。

相关资讯

Runway 王者归来!发布新模型 Gen-3 Alpha,直接对标 Sora

大家好,这里是和你们一起探索 AI 的花生。 自 OpenAI 发布 Sora,将文生视频拉高到一个新的高度后,各家 AI 视频工具都在努力升级模型、添加新功能,以期在这场竞赛中保住自己的一席之地,比如 Pika 已经推出了风格选择、视频配音、唇形一致等多种功能,Vidu、Kling 则是类 Sora 的新模型,在生成效果上已经十分接近 Sora。而曾经的领军产品 Runway 却始终都没有什么动静,因此很多人都在担心它未来的发展。 最近 Runway 终于放出大招,发布了第三代模型 Gen-3 Alpha,它各方

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

大家好,这里是和你们一起探索 AI 的花生。 前几天知名 AI 视频处理平台 Runway 宣布开放测试旗下的 GEN-2,一款可以直接根据文本生成视频的工具,我们先看看官方放出的 2 个演示:视频来源:推特@runwayml :Gen-2 Now Available | Runway - YouTube 了解 Runway:看到视频时真的被小小的震撼了一下,因为画面的稳定度和流畅度都超乎想象。虽然目前用 AI 生成视频的方法并不少,比如之前为大家介绍的 D-ID,是通过图像来生成数字人视频;还有利用 Stable

全面开放,无需排队,Runway视频生成工具Gen-2开启免费试用

国内外其他公司也纷纷发力,把手里的技术封装成一个个人人可用的 AIGC 产品,Runway 前几个月发布的 Gen-1、Gen-2 便是其中之一。