这几天,很多人的朋友圈都被 9 块 9 生成的 AI 写真 刷了屏。这些写真来自一个名叫「妙鸭相机」的微信小程序,主打一个低门槛、人人可用,而且成效媲美花大几百在照相馆拍的写真,因此俘获了大批网友。
「妙鸭相机」的走红是生成式 AI 技术逐渐破圈的标志性事件,它用一个非常明确的利用场景向大众展示了这些技术的具体能力。与此同时,国内外其他公司也纷纷发力,把手里的技术封装成一个个人人可用的 AIGC 产品,Runway 前几个月公布的 Gen-1、Gen-2 便是其中之一。
和很多文生图类利用不同,Runway 的 Gen-1、Gen-2 挑战的是一项更有难度的事情 —— 视频编纂和生成。其中,Gen-2 不仅可以像 Gen-1 一样在原视频的基础上编纂出符合用户要求的视频,还可以从头生成视频。但遗憾的是,在最初公布时,Gen-2 只能在有限的候补名单中使用。
Gen-1 视频编纂成效。来源:https://twitter.com/runwayml/status/1681335709850824704
Gen-2 视频生成成效。来源:https://twitter.com/javilopen/status/1683493099450793984
不过,这一限定在今天被彻底打破。刚刚,Runway 宣布,Gen-1 和 Gen-2 已经彻底开放,任何人都可以注册一个账号收费尝试。生成的视频长度为 4 秒,每秒消耗 5 个积分,利用收费额度可以生成二十几个视频。如果收费积分耗尽,付费标准为 0.01 美元 / 积分,也就是生成一个视频需要 0.2 美元。
这一限定的解除让已经公布数月的 Gen-2 再度走红,越来越多的人晒出了自己的试用结果。在欣赏网友的大作之前,我们先看看这个利用能做什么。
刷屏的 Gen-2 到底能做什么?
今年 2 月份,Runway 公布了 Gen-1。它的功能非常丰富,包括格调化、小说版、蒙版、衬着、自定义等等。
格调化可以理解为参考某张图象修改视频格调。比如给出下列原始视频:
再给定一张参考图象:
Gen-1 就能将视频编纂成上述图象的格调:
小说版是一个电影学名词,指在影片的实际拍摄或绘制之前,将剧本的笔墨描述转换成一格一格叙述小说进展的图画。Gen-1 可以将一个类似小说版的视频转换为具有特定场景的视频。
蒙版(mask)可以理解为修改视频中的指定部分,而其他部分保持不变。比如,给定下列原始视频:
然后向 Gen-1 输出笔墨指令「白毛上有黑点的狗。」我们就可以得到编纂后的视频。
衬着是指将计算机生成的 3D 场景或特效图象转换成最终影像。比如,给定下列原始视频:
Gen-1 可以生成衬着后的视频:
此外,Gen-1 还支持自定义视频编纂:
今年 3 月份公布的 Gen-2 延续了这些功能,可以将图片或文本提示的构图和格调利用于原视频上。同时,它还新增了笔墨、图片生成视频功能。也就是说,仅需输出笔墨、图象或笔墨加图象的描述,Gen-2 即可在很短的时间内生成相关视频。它是市场上第一个公开可用的文本到视频模型。
比如,我们输出一段纯笔墨:「午后的阳光透过纽约阁楼的窗户照进来。」Gen-2 会直接「脑补」出视频:
输出一张照片 + 笔墨「低角度镜头:一个男人走在街上,被他周围酒吧的霓虹灯照亮。」
Gen-2 会返回下列结果:
仅输出一张图象,Gen-2 也可以将其扩展为视频:
目前,Runway 已经开放了网页端的收费体验窗口,相关利用(RunwayML)也已经在苹果的利用商店上线。
官网地址:https://research.runwayml.com/gen2
Gen-2+Midjourney = 无限可能
Gen-2 限定的解除让这款利用在社交媒体再次刷屏,网友纷纷晒出了自己的试用成效:
视频来源:https://twitter.com/dr_cintas/status/1683473643462860808
未来,这些工具还有哪些潜力?我们拭目以待。