Adobe Premiere Pro 将支持 AI 视频编辑功能! 可接入 Sora、Runwa 等模型

大家好,这里是和你们一起探索 AI 的花生~ AI 技术目前在视频生成领域有广泛应用,出现了很多成熟的工具,比如 Sora、Runway、Pika、Stable Video、Dreamina 等,它们都可以直接通过文本或图像生成动态视频。与此同时,AI 技术在视频编辑方面的应用也越来深入,Runway 早就在其视频编辑工具中加入了智能抠图、动态追踪、局部重绘、智能调色的功能,我们熟悉的剪映已经支持智能字幕、音色克隆、视频无痕翻译、数字人等功能。 相关推荐:这两天,Adobe 也宣布将为其旗下的专业视频编辑软件 Pr

Adobe Premiere Pro 将支持 AI 视频编辑功能! 可接入 Sora、Runwa 等模型

大家好,这里是和你们一起探索 AI 的花生~

AI 技术目前在视频生成领域有广泛应用,出现了很多成熟的工具,比如 Sora、Runway、Pika、Stable Video、Dreamina 等,它们都可以直接通过文本或图像生成动态视频。与此同时,AI 技术在视频编辑方面的应用也越来深入,Runway 早就在其视频编辑工具中加入了智能抠图、动态追踪、局部重绘、智能调色的功能,我们熟悉的剪映已经支持智能字幕、音色克隆、视频无痕翻译、数字人等功能。

相关推荐:

这两天,Adobe 也宣布将为其旗下的专业视频编辑软件 Premiere Pro 接入一系列生成式 AI 功能,包括添加对象、删除对象、视频内容延长以及根据文本生成视频,为用户提供更便捷精准地视频编辑服务。

Adobe Premiere Pro 将支持 AI 视频编辑功能! 可接入 Sora、Runwa 等模型

「新增对象」可以让用户框选视频画面的某个区域,然后结合用提示词来重新生成该部分的内容。从演示视频来看一共支持矩形、椭圆、钢笔三种框选方式,新生成的内容与周围的环境也融合地相当不错。

「删除对象」支持智能识别某个对象并一键将其无痕删除。这种选择是跨帧的,一旦选中后,之后画面中内容都会同样被删除,无需重复操作。这项功能将对影视后期非常有帮助,用户可以轻松去除画面中不需要的人物或者道具,以及一些可能会涉及到侵权的内容。并且删除操作是非破坏性的,支持恢复至原始状态。

最后是「视频内容延长」,可以基于视频片段的最后一帧,继续生成动态内容。

以上三项功能都是由 Adobe 自研的 FireFly 模型提供支持。这个模型之前已经为大家介绍过好几次了,它支持文生图、图像局部重绘、图像外绘拓展、文生矢量图形、矢量图自动上色、文生设计模板等多种功能,已经被内置到

Photoshop、Illustrator 和 Express 软件中。如今 FireFly 又新增了视频生成功能,发展速度令人惊喜。

Adobe Premiere Pro 将支持 AI 视频编辑功能! 可接入 Sora、Runwa 等模型

除了 FireFly 模型,Premiere Pro 还支持接入第三方模型来生成视频,比如用 Pika 来延长视频、用 Sora 或 Runway 生成新的视频片段,给用户更多样的选择,只是不知道是否会额外收费。而且既然 Sora 已经可以提供 API 接口给第三方使用,是不是也离开放测试应该也不远了?

官方称 Premiere Pro 的这些生成式功能会在今年晚些时候上线,因为有 AI 参与到创作流程中,所以 Adobe 将会为生成的内容附加内容凭证,以便人们查看其中 AI 的参与程度以及具体使用的模型,这为维护正常的创作秩序起到了一个很好的的示范作用。

前段时间还有消息称,Adobe 正在每分钟 2.62 美元的价格收购视频资源,以训练自己的文生视频模型,看来 Adobe 也已经正式加入 AI 视频模型的 “军备竞赛” 中了。而付费购买视频资源应该是为了更好地应对 AIGC 一直存在的数据集版权问题,保证 Adobe 服务的用户可以安心的地使用自家模型生成的内容而不用担心会侵权。

Adobe Premiere Pro 将支持 AI 视频编辑功能! 可接入 Sora、Runwa 等模型

在剪映、Adobe PremierePro 这些传统视频编辑工具积极拥抱 AI 生成式技术的同时时,新兴的 AI 视频生成工具也在积极拓展它们在视频编辑方面的应用。比如 Pika 目前已经有了视频局部重绘、音效生成、角色唇形一致等功能;LTX Studio 则正在打造一个全 AI 流程的视频制作平台,从创意构思、视频生成到视频编辑可以一站式完成,未来 AI 肯定会给我们更多新鲜的视频制作体验。

Adobe Premiere Pro 将支持 AI 视频编辑功能! 可接入 Sora、Runwa 等模型

好啦以上就是本期为大家分享的 Adobe Premiere Pro 支持 AI 视频编辑功能的相关内容,喜欢的话记得点赞收藏支持一波,我会有更动力为大家推荐新的干货内容~ 想了解更多 AI 新鲜资讯的话,欢迎关注 优设 AI 自学网 和优设微信视频号,每天都会分享最新的 AIGC 资讯和神器,让你轻松掌握 AI 发展动态。

另外我最新制作的课程《零基础 AI 绘画入门》已经上线,课程包含对 Midjourney 及 Stable Diffusion WebUI 的系统入门教学,并提供配套资源、各类实用工具和提示词库,能帮助初学者快速掌握这 2 款目前最热门的 AI 工具,感兴趣的小伙伴可以戳的链接了解详情:夏花生的《零基础 AI 绘画录播课》。

相关资讯

Sora加入Adobe全家桶,视频改图加戏样样行:PR大更新预告

这就是生成式 AI 时代的视频编辑工具。Adobe 全家桶马上就要拥有最先进的生成式 AI 视频创作能力了。今天,Adobe 宣布了 Premiere Pro 全新版本的更新计划。其中包含为第三方 AI 视频生成模型添加插件,不论是 OpenAI 的 Sora 还是 Runway 的 Gen-2 和 Pika,很快都将出现在 Adobe 工具体系中可被人们所用。现在,基于 Adobe 自己的大模型 Firefly 的能力,你可以在视频素材上直接添加或减少内容。转场时感觉少点烘托背景的镜头?现在用 OpenAI 的

Runway Gen-3的视频转绘功能太牛了!大片制作0门槛!

大家好我是花生~ Runway 在推出 Gen-3 Alpha 视频生成模型后,还一直有一些小的更新,比如推出了新的 Turbo 模型,生成速度比原来快了 7 倍;支持尾帧控制;支持将视频延长至 40s 等,都是非常符合用户需求的优化提升。 而它前几天推出的 V2V (Video to Video) 功能,更是将 AI 视频在风格转绘上的水平提升到了一个新的高度,再次秀了一波「AI 视频生成王者」的实力。该功能一经推出就受到众多专业 AI 视频创作者的称赞,并迅速衍生出多种玩法,很有潜力成为一个新的流量风口,喜欢

Adobe Premiere Pro 引入全新 AI 功能,文本转视频、添加 / 删除视频对象等

Adobe 今日宣布将为其专业视频编辑软件 Premiere Pro 加入一系列由生成式人工智能驱动的强大功能,这些新功能将帮助视频剪辑师们更高效地完成工作。得益于全新的人工智能功能“生成扩展”,Premiere Pro 将能够为视频片段添加额外的帧,方便剪辑师们对场景进行恰当的时长调整并加入平滑的转场效果,例如延长某个场景的画面。此外,通过智能选取和跟踪工具,用户还可以轻松添加或移除视频中的物体。Adobe 表示,视频剪辑师们可以利用这一功能移除不需要的元素,例如画面中的杂物,或是为演员更换虚拟服装,甚至还能为场