从图象视频合成、音乐到剪辑,所有一切都是由 AI 完成的。
制造者 Nicolas Neubert 列出了对应的 AI 对象,其中 Midjourney 解决图象、Runway 解决视频、Pixabay 解决音乐、CapCut 剪辑视频。
Midjourney 是大家熟悉的 AI 绘图神器,目前已经更新到了 5.2 版本。Runway 是基于 AI 的视频制造生成对象,目前 Gen-2 已经开启免费试用。CapCut 剪辑对象对所有人免费,不过也可以选择在 Adobe Premier 或 Final Cut Pro 中剪辑。
推特 @iamneubert
据了解,Neubert 花了 7 个小时,Midjourney 生成了 316 条提醒、放大了 128 张图象,Runway 生成了 310 个视频,还有一个带有文本的视频,预告片中共应用了 44 个视频。
今天,Neubert 更是撰写了一篇长文,详细介绍了《创世纪》的制造过程,包含了具体流程、如何应用上述 AI 对象。我们一一来看。
关于电影想法,他表示自己反乌托邦中心的想法来自自己看过的几部电影,并以它们为基础编写了一个小说。
正式制造的第一步是构建世界和小说。
对于预告片《创世纪》的小说情节,Neubert 想一步步地增强紧张感。因此定义了以下 3 个阶段:
设置场景
引入威胁
CTA 中的高潮
具体地讲,Neubert 先制造预告片的第一个文案草稿,包括「分享一切、承担后果然后呼吁人类采取行动」。
这样定义了整体基调后,他开始围绕这些中心生成相应的场景。Neubert 滚动了大量有关环境、军事科技、战斗中心的人类和科幻剪辑,然后从中收集到一个小说。
同时为了增加一些深度,他添加了三个带有发光护身符的孩子的镜头,暗示了更深层次的小说情节。
第二步是在 Midjourney 中生成连续的图象。
这里要特别注意提醒(prompt)。Neubert 对自己在以往帖子中获得的稳定提醒进行了优化,创建了一个模板,这样在预告片的每个镜头中都能重复应用它。模板如下:
___________,星球大战、风格为精细的人群场景、朴实的自然主义、青色和黄色、寒霜朋克、室内场景、cinestill 50d—ar 21:9— 原始风格
对于每个场景,他都会用自己想要的场景来填补空白,确保其他 tokens 最大限度地保持中心、颜色和照明的连贯性。
此外利用强变化(Strong Variations)功能,使得更容易创建不同的场景,同时保留之前的调色板。女战士的场景可以转变为普通公民、网络黑客或战斗的场景,无需生成新的提醒。
第三步是在 Runway 中生成动画图象。
Neubert 发现这一步是最简单的。在设置上,他总是测试激活放大(Upscaled)模式。不过该模式常常遇到面部问题,所以针对人物镜头,他通常应用标准质量。
值得注意的是,他没有应用文字提醒与图象提醒相结合的方式,而是拖放一张图象并重新生成它,直到得到自己满意的结果。
最后一步是在 CapCut 后期剪辑。
在 Midjourney 和 Runway 生成输出的同时,Neubert 首先放置自己知道将发挥重要作用的关键场景。就预告片而言,他认为外景镜头将成为开场。
接着开始计划文本。当根据音乐来定位文本时,时间轴中没有任何剪辑,这是有可能的。他在不到一个小时的时间里就按照时间线编好了内容并定了位。这对生成图象很有帮助,你需要一个额外的固定点来考虑仍然缺少了哪些场景。
具体的步骤变得很简单,生成剪辑→ 将它们拉入 CapCut → 放置在时间轴上,然后慢慢拼凑小说。他还对 2 到 3 个编辑包进行了颜色匹配,让它们看起来更像宏大的电影场景。
应用 CapCut 唯一需要的技术是对剪辑进行节拍的同步。当音乐中出现「BWAAA」时,他总是测试连接剪辑内的举措或者排列后面的剪辑。这会令整个序列更有身临其境的感觉。
此外 Neubert 还考虑了如何在剪辑中加入大量的举措。这里他应用了两个技术来增加举措。
第一个技术:Runway 会接收一张图象,然后根据模型计算哪些部分应该进行动画解决。他对这个思路进行了逆向工程,测试在 Midjourney 中输出暗示运动的图象。这意味着可以在镜头中加入运动模糊或者可以捕捉移动头部或人物的静止图象。
第二个技术:当你分析 Runway 视频时会发现在 4 秒剪辑中,场景经常发生很大的变化。因此在预告片场景中,他只应用了完整的 4 秒剪辑两次。所有其他剪辑的长度均为 0.5-2 秒,并将剪辑的速度提高了 1.5- 3 倍。这样做的原因是,作为观看者,你只能看到时间很短的剪辑,因而会在场景中感知到更多运动,本质上是快进了该部分。
一番操作下来,最终呈现出给大家的就是开头的那个震撼的《创世纪》预告片。该预告片也得到盛赞,有人表示,这是自己至今为止看过的最好的 Runway 生成视频。
其实,在 Runway Gen-2 可以免费试用后,不少网友大开脑洞,将它与 Midjourney 结合起来,大胆创作。
Midjourney+Runway:神奇的 AI 创作对象组合
这里与大家分享一些其他的生成用例。
Runway 对与人物举措细节的把握也是较为准确的。在网友申城的视频中可以看到,人物眼睛的细节让动态视频更加传神,也可以说了平添了几分「演技」。
来源:https://twitter.com/OrctonAI/status/1682420932818661378
图片动起来之后,人与马在夜色中的举措十分自然,对于人物,甚至后续举措的想象空间也有了更大留白。
来源:https://twitter.com/OrctonAI/status/1682420932818661378
Midjourney 与 Runway 的组合看起来很是无敌,在人物关键举措上能刻画出适当的小说感。
推特:@ai_insight1
还有一些变化更加丰富,也更具创意的生成结果。
推特 @kkuldar
推特:@Akashi30eth
也有网友利用一系列 AI 对象生成视频短片,可是结果似乎不尽人意。
推特用户 @nickfloats 应用 ChatGPT 撰写脚本、Midjourney 生成图象、Runway 生成视频、Triniti 生成音乐、Eleven Labs AI 配音,剪辑就将其简单的拼接在一起,不做其他调整。
ChatGPT 撰写的脚本
网友记录了自己制造的全过程,想看看全程应用 AI 制造告白短片需要多久。
在经过 45 分钟之后,成片出来了,它的效果如何?
这名网友对这个短片成果的评价是 「The ad sucks」。这告白中,人物的举措僵硬,画面的逻辑关系不强,整体也很难凸显出想要表达的中心。AI 的通力合作似乎并没有出现惊喜,反而是「惊吓」更多一些。
与《创世纪》相比,这个告白短片时长是它的一半,但是用时极少。其中最大的差异就是人类参与的细节。它没有仔细斟酌后的中心、追求连贯的不断调整以及对细节的高要求。
如果只让 AI 来参与,或是只根据 AI 的生成来产出作品,显然还不能够由高质量的成果。人类对它们的应用和调整似乎才能体现这些对象的真正价值。