大家好,这里是和你们聊设计的花生~
之前和大家聊过不少 AI 图象生成东西,有的可以根据文本生成图象,有的则是将 AI 技能运用到图象处置中,让扣除后台、扼杀画面元素成为非常轻松快捷的事情,大大提升了设计师的工作效率。既然 AI 技能在图片处置的利用上如此成熟,那如果用到视频的剪辑建造上会有什么效果呢?
Runway 官网: https://runwayml.com/
借助 AI 技能的快捷扼杀图象实质
比如在视频里完成一键抠图,将人物从后台中分离出来,进行后台更换或者插入笔墨图层:
或者在视频里完成快捷修图,用画笔一抹,就能去除视频中不需要的部分:
甚至在视频里也用上 Ai 生成性技能,输入一段话,就能将原来的物体变成另一个新的物体:
其实这些 AI 技能在视频建造中利用的并非想象,也不是特效,而是真的有公司将其变为了现实。下面就是“一键去除画面元素”技能在视频建造中的完成过程:
在线视频建造东西 Runway 的操作界面
这些神奇的视频处置功效都是一家名为 Runway 的公司开发的。Runway 是国外一家在线视频剪辑建造网站,成立于 2018 年。它有非常完善的在线视频处置技能,更重要的是公司团队一直在积极地将生成性 AI 技能利用到视频实质建造中,致力于降低视频创作的门槛,帮助人们轻松建造出实质强大且富有创意的视频实质。
Runway 官网: https://runwayml.com/
Runway 官网展示的 30 多个 AI 邪术东西
Runway 目前已经开发了 30 多个 AI 邪术东西,其中一部分是将 AI 图象生成技能内置。比如我们熟悉的根据文本生成图象、根据图象生成风格化变体、图象延展外绘、根据文本生成 3D 贴图纹理、视频局部无损放大等技能,在 Runway 内都可以完成。
Runway 内置的图象无限外延功效
另一部分则是令人惊喜的视频处置邪术,除了我们前面提到的 3 种功效,Runway 还开发了包括动态跟踪,智能调色、智能慢镜头、平滑插帧及一键模糊人脸等功效。
“动态跟踪”即通过 AI 技能识别视频中物体的运动轨迹,然后为其附上笔墨或者其他元素,这些元素会主动跟随物体一起运动,不用手动设置轨迹。
“智能调色”功效利用 AI 技能主动分析画面的色彩等级,然后依据文本描述的实质对视频相应的色调调整,处置速度很快,上色效果也非常和谐。
除了视频处置东西,Runway 也将 AI 技能与音频处置结合起来,开发出了主动生成笔墨稿、一键去除空白音频及智能去除后台杂音等东西。Runway 的研究团队目前还在开发一种名为 Soundify 的音效系统,该系统利用 AI 技能先识别视频实质,然后为之生成准确高质量的音频,且主动对齐音频与视频的进度,以解决传统视频建造过程中寻找合适音频困难、精准对齐音频与视频耗时的问题。
Runway 的野心当然不止于此。有了图象、视频与音频等一系列 AI 东西作为基础,Runway 还推出了 “文本生成视频 “技能并发布了一段演示视频。
从视频中可以看出,Runway 的 “文本生成视频 “技能包括:通过输入文本指令完成导入视频素材、调色及扼杀视频中的选中对象;通过文本生成各种图象;通过文本描述添加笔墨及动效、扣取人物及替换后台等。我们也可以看出视频当中的很多功效都是我们前面介绍过的。