Runway新功能「运动笔刷」再次惊艳AI圈:随手一涂,图片就动起来了

网友:我都不敢想象一年后的视频技术会有多先进。一段五十秒的预告视频,再次让 AI 圈沸腾了。昨日 Runway 宣布,即将在视频生成工具 Gen-2 中上线「Motion Brush」(运动笔刷)功能,一种可控制生成内容移动的新方法。这次的玩法,甚至不需要输入文字,只要有手就够了。任选一张图片,画笔涂抹到哪里,哪里就立刻动起来:不管是水流、云彩、火焰、烟雾还是人物,都能高度还原其动态。这就是传说中的「点石成金」吗?网友看完表示:我都不敢想象一年后的视频技术会有多先进……毕竟在 2023 年初,从文本生成视频还是一件

网友:我都不敢想象一年后的视频技术会有多先进。

一段五十秒的预告视频,再次让 AI 圈沸腾了。

昨日 Runway 宣布,即将在视频生成工具 Gen-2 中上线「Motion Brush」(运动笔刷)功能,一种可控制生成内容移动的新方法。

图片

这次的玩法,甚至不需要输入文字,只要有手就够了。

任选一张图片,画笔涂抹到哪里,哪里就立刻动起来:

图片

图片

图片

不管是水流、云彩、火焰、烟雾还是人物,都能高度还原其动态。这就是传说中的「点石成金」吗?

图片

网友看完表示:我都不敢想象一年后的视频技术会有多先进……

图片

毕竟在 2023 年初,从文本生成视频还是一件相当困难的事情。

Runway 曾在今年 2 月推出了 Gen-1,功能非常丰富,包括风格化、故事版、蒙版、渲染、自定义等等。看起来,这是一个专注于「编辑」视频的工具。

但今年 3 月,Gen-2 的面世改变了一切,它新增了文字、图片生成视频功能。用户仅需输入文字、图像或文字加图像的描述,Gen-2 即可在很短的时间内生成相关视频。

这是市场上第一个公开可用的文本到视频模型。比如输入一段纯文字「午后的阳光透过纽约阁楼的窗户照进来」,Gen-2 会直接「脑补」出视频:

图片

现在,只需几个 prompt 和手势,我们就能生成像样的视频并进一步编辑,复杂的视频编辑软件和冗长的制作流程一去不复返。

如果将文生图神器 Midjourney 与文生视频神器 Gen-2 结合起来使用,用户完全可以不动笔,直出大片。

当然,Gen-2 也是有竞争对手的,就是 Pika Labs,特别是后者还是免费的。

图片

                                以上画面由 Pika Labs 生成。

对于这种疯狂卷的态势,一部分用户是非常期待的:「2024 年,Pika Labs 和 Runway 之间的拉扯一定很有意思。」

图片

传闻中,OpenAI 也有视频生成相关的技术。有网友表示:「这让我不禁好奇,OpenAI 的 any-to-any 模型在生成视频方面究竟有多出色,因为这家公司通常都走在别人前面。」

图片

未来的视频和电影制作行业,会因此而颠覆吗?

相关资讯

保姆级教程!AI视频生成神器 Pika Labs 使用指南

今天为大家带来最近爆火的 AI 生成式视频神器 Pika labs 的使用教程。 关于Pika 的介绍:背景简介 Pika 是什么?用生成式 AI 技术能够生成和编辑 3D 动画、动漫、卡通和电影等各种风格的视频。也是 Runway Gen-2 的最强竞品。 那么,今天就带来 Pika Labs 的完整使用指南(目前社区为试用版,最多可以生成三秒),大家可以先行体验,后续排队拿到 1.0 体验资格后会继续为大家带来更新。 一、注册&如何使用 1. 注册 discord 账号 相信大概部分用过 MJ 的小伙伴已经有账

文生视频平台 Pika 喜提功能升级:视频有声音了,可生成各种背景音效

文生视频平台 Pika 今日凌晨通过 X 平台官宣新功能:视频可以集成 AI 生成的音效了。用户现可在 Pika 生成的视频中无缝生成、整合声音,可以通过提示词来描述想要的声音,或者直接让 Pika 根据视频内容自动生成声音。“如果您觉得它很酷,那是因为它的确很酷。抱歉,我们之前静音了!”与此同时,官方放出了一段预告片和几个 DEMO,预告片中的车辆鸣笛声、刀剑呼啸声均与视频内容匹配,而在 DEMO 演示中,烤肉的滋滋声和海底的水声也可以说与画面主题非常吻合。 据介绍,该功能目前仅面向“超级合作者”和专业用

文生视频PIKA1.0爆火,斯坦福华人学生退学创业,估值超2亿美元

你负责打字,我们负责帮你生成视频。这是属于每个普通人的视频生成工具还记得《盗梦空间》中梦境设计师艾伦・佩姬拉动镜子创造的视觉幻境吗?视频是娱乐的核心,每个人都想成为这样的梦境导演,然而到目前为止,制作高质量视频的过程仍然很复杂,还需要投入大量资源。去年冬天,几位斯坦福大学计算机科学博士尝试使用生成 AI 制作一部电影,也相信有机会赢得首届「AI 电影节」大奖。没想到,这些技术高超的博士们虽然在 Runway、Photoshop 等专业工具上耗费了大量精力,但仍然名落孙山。为什么不能有一款为非创意专业人士量身定做的视