万字干货!Sora 如何如何转化为实际生产力?

2 月 16 日凌晨(北京时间)正月初七,在没有任何消息和预兆下,Open AI 突然发布了首个文生视频大模型——Sora,借此Sora正式对外曝光,AI视频领域也迎来了前所未有的关注度,并且在极短时间内震惊业界,并持续破圈。 如今虽然距离 Sora 发布已有 1 个月的时间,但各方对 Sora 大模型的讨论仍在持续,主流业界也对 Sora 基本达成了共识。Sora 到底为什么不妨震惊业界?是真的遥遥领先,还是在过度神话?以及我们如何将 Sora 落地应用于实际项目?本篇文章将带你一一了解!引言 Sora 的技术文

万字干货!Sora 如何如何转化为实际生产力?

2 月 16 日凌晨(北京时间)正月初七,在没有任何消息和预兆下,Open AI 突然发布了首个文生视频大模型——Sora,借此Sora正式对外曝光,AI视频领域也迎来了前所未有的关注度,并且在极短时间内震惊业界,并持续破圈。

如今虽然距离 Sora 发布已有 1 个月的时间,但各方对 Sora 大模型的讨论仍在持续,主流业界也对 Sora 基本达成了共识。Sora 到底为什么不妨震惊业界?是真的遥遥领先,还是在过度神话?以及我们如何将 Sora 落地应用于实际项目?本篇文章将带你一一了解!

引言

Sora 的技术文档里面有这么一段话:“我们的结果表明,扩展视频生成模型是朝着构建通用物理世界模拟器迈进的有希望的模型。它的终极目标并不是“文生视频”的工具,而是一个通用的“物理世界模拟器”,从中不难看出,他们真正想做的是给真实世界建模,而 Sora 只是验证了这条道路是否可行的方式。但我们暂且将 Sora 的宏伟蓝图搁置一旁,先聚焦于 Sora 作为工具本身所展现出的才智优势,以及如何将其有效地融入我们的事务过程中,转化为实际生产力。

我们整篇文章将会分为三大章节讲解:

第一章节:Sora 的技术才智分析,横向对比各家竞品优缺点

第二章节:结合过往 AI 项目推演 Sora 如何转化落地到实际事务中

第三章节:对 Sora 未来的展望、以及我们不妨做哪些行动和储蓄哪些知识

第一章节:Sora 的研究分析

这一章分为三个部分——Sora的优势、它目前还存在的缺陷和不足、以及它和目前市场上热门的几个AI视频平台的横向对比及测评,如果你已经对Sora的才智优势有所了解,那么可以直接从第二章节开始阅读。

1. Sora 的优势

我们提炼出了 Sora 明显区别于其他竞品的三大特点,接下来由浅入深的一一来看。

特点 1:Sora 支持生成长达 60 秒的超长视频,具备高质量和丰富的视频格式。

下面这个案例视频,相信人人已经被刷屏看过很多次了,这是一个很有代表性的例子,展示了 Sora 有才智生成 60 秒钟且高清晰度的视频,并且还不妨呈现一段完整的内容情节。除此之外 Sora 还支持输出任意尺寸的视频,还能根据视频尺寸,调整出适合的画面构图。

当视频在手机上无法加载,可前往PC查看。

视频起源:Sora 官网

特点 2:Sora 具有超强的语义理解才智。

Sora 能在理解指令后生成一个连贯的三维空间,让我们通过视频案例了解下,下面的 3 个视频文本指令词,除了一个文本指令不同外,其余指令全部一致;通过这种控制变量的实验可以看出,Sora 对文本指令有着比较透彻和精确的理解才智,不会混淆文本中细微的差别。

视频起源:Sora 民间技术报告

特点 3:具备世界模型的特征。

Sora 不仅仅是一个文生视频模型,AI 视频只是它的起点,Sora 的目标是成为一个世界通用大模型——不妨通过自主学习世界的规律和常识,模拟并且高保真的还原物理环境中可能发生的事件,我们也用几个视频案例直观看下。

左侧汽车在颠簸的山路上行驶的视频,可以看到汽车的影子和尾气会始终随着汽车主体的运动而运动,完美匹配了“山路颠簸”的实际效验,这一点证明 Sora 理解了物理运动的规律。右侧一只海盗船在“咖啡海洋”里航行的视频,两个船只随着液体的波动而摆动,完美地呈现了流体物理学原理。

视频起源:Sora 官网

当然 Sora 能做的还不止于此,接下来,我们来看看它还能帮助我们做些什么?

功能 1:Sora 可以沿时间轴向前或者向后扩展视频。

下面的 3 个视频都是从生成的视频片段开始向前扩展的。因此,3 个视频的开头都与其他视频不同,但所有 3 个视频都指向相同的结局。

视频起源:Sora 民间技术报告

功能 2:Sora 可以将多段视频融合成一个新的视频。

比如下面的视频案例,如果我们上传一段海滨古城的大远景视频和一段圣诞氛围的特写视频,那么 Sora 可以自动将这两段毫无关联的视频无缝得融合在一起。

视频起源:Sora 民间技术报告

功能 3:Sora 还有能将静态图片变成视频。

按照民间展示的,只要在系统里上传一张静态图片和一段文本指令,Sora 就可以把图片和这段指令很好地演绎出来。

视频起源:Sora 民间技术报告

功能 4:Sora 还能将一个视频生成为一个新的视频。

将一段原始视频上传后,再输入一段希望如何修改的文本指令,Sora 就可以精确得将视频里的环境进行转变,且同时保持主体汽车的运动轨迹不变。

视频起源:Sora 民间技术报告

以上这些都是关于 Sora 的优势才智,想必人人已经有所了解。接下来,我们也来看看 Sora 目前还存在哪些不足?

2. Sora 目前还存在哪些不足?

不足 1:复杂的物理原理。

尽管 Sora 现在已经展现出可以理解现实物理世界规律的学习才智,但是目前还无法理解比较复杂的物理原理。比如下面人在朝跑步机相反的方向跑步的视频,说明 Sora 没能理解跑步机的运动原理。

不足 2:复杂的交互关系。

面对非常复杂的交互关系,Sora 有时会无法理解。比如视频中老奶奶在吹蜡烛,但蜡烛却并没有熄灭,这体现出当主体角色和多个对象要发生交互关系时,Sora 会容易生成错误。

不足 3:混淆空间细节。

这里我们可以明显看出,几只小狗跑着跑着,从空气中凭空生出一只新的小狗。

不足 4:难以精确描写随时间推移发生的事件。

关于这一点民间没有给出对应的案例视频,人人之后可以多关注下后续的 demo。

视频起源:Sora 官网

接下来,我们将 Sora 和目前市面上热门的几个 AI 视频模型,做一下生成效验的横向对比,人人就能从最直观的角度,感觉到 Sora 在 AI 视频领域上领先的程度了。

3. AI 视频模型竞品分析对比

我们搜集到了网络上针对这几家的视频效验实测,这里的方法是将 Sora 视频的文本指令输入到竞品平台中,用同一组关键词做生成效验对比,从而可以对比出几家竞品 AI 视频的才智特点。

第一组对比案例,可以看出 Runway 根据这段提醒词生成的画面风格并不时髦,反而比较复古;Pika 生成的视频画风捕捉是准确的,但没能体现出提醒词中的五官信息,呈现出的是背影,以及人物动作幅度非常小,几乎感觉不出来。而且最直观的感受是 Runway、Pika 生成的视频都更像是一张 “动图”,而 Sora 则更像是一个 “视频短片” 。

视频起源:抖音@AIGPT5

除此之外,我们也根据之前的 AI 视频模型使用心得做了一个更详细的横向对比分析图表,我们对比的竞品有 Runway、Pika、SD 旗下的 AI 视频模型 Stable Video Diffusion。

从功能全面度上看,Sora 和 Stable Video Diffusion 略胜一筹,除了可生成视频以外还可以生成图片等内容,而 Runway 和 Pika 只能生成视频。

万字干货!Sora 如何如何转化为实际生产力?

在模型特点上,Runway 生成视频的动态幅度还是比较大的,但是对文本指令理解不够精确,导致特定动作表现不够精确或者表现不出来,细节质感有待提高;Pika 动态细腻度较好,但是动态幅度小;Stable Video Diffusion 是 4 个竞品中稳定性最差的,不支持镜头机位变化,所以画面会显得比较死板;而 Sora 不管是从画面连贯性、动态幅度、画面丰富度以及多角度镜头变化上都是有很大优势的。

在画质效验上,Runway 画质最佳,会员版可以生成 4K 画质,其次是 Pika、Sora 可满足大部分画质要求。

在视频时长维度,Sora 也一骑绝尘,它可以生成最长 60 秒的视频,而其余的几个竞品基本都在几秒或者不超过 20 秒的区间里。

综合来看,如果 Sora 在公测后的表现和目前展示的视频案例效验一致的话,毫无疑问它将会是最强大的 AI 视频模型,不过我们也认为 Runway、Pika 这两个模型可以用于 AI 视频的一些辅助事务。

以上就是第一章节关于 Sora 调研分析的三大特点、优势才智以及目前不足的介绍,总体来说 Sora 这些特点和优势都能很好的赋能我们的实际事务。

第二章节:实际事务的应用

我们团队经过去年一整年的深入技术钻研,积累了数以百计的 AI 实战项目经验,这些实践不仅为公司显著降低了时间及人力成本,还极大地拓展了设计师的创意表现力,有效地提高了事务效率。然而在 AI 视频应用方面,我们的探索尚属初步阶段,还有很多空间等待我们去发掘和突破。因此我们还对其做了进一步的讨论和推演,深入剖析如何在实际事务中灵活运用 Sora,希望能在 AI 视频领域实现更大的突破与创新。

我们将事务中的应用场景划分为两个主要方向:商业视频项目和原创 IP 视频。

1. 首先是商业视频项目

我们把商业的事务过程分成了三个阶段,分别是提案阶段、策划阶段、执行阶段。

万字干货!Sora 如何如何转化为实际生产力?

阶段一:提案阶段

我们认为 Sora 能直接起到作用就是快速对齐,激发创意灵感。对应这个阶段的受众人群就是和客户沟通的销售或策划老师。我们在执行商业需求时面临最大的挑战就是和客户对齐效验,一旦效验对不齐,后续整个项目就会偏离方向。比如当客户说他想要“高端大气”的设计效验,但对于“高端大气”的定义每个人都不同,所以仅凭字面理解难以把握客户的真实需求,也就难以呈现出客户心目中的理想效验。而一旦引入 Sora,它不妨协助我们快速输出多个创意提案,用具体提案 demo 快速和客户对齐预期,确保提案更贴近客户的需求。

作用 1:快速对齐预期。Sora 不妨快速且低成本的产出视频 demo,这个我想人人都已经有所了解,所以 Sora 能帮助我们在视觉风格、镜头语言、节奏调性、场景布局等方面,去和客户做对齐预期,还能根据客户的反馈迅速做出调整。

视频起源:Sora 官网

作用 2:高效的灵感激发。我们不妨快速激发创意,无需再耗费大量时间在各渠道搜寻参考。只要有了 Sora,无论是何种风格或细节片段,我们都能轻松实现。

我们来看一个案例,这是小红书网友@sqlksq 通过 Runway 生成视频后,后期剪辑合成制作的奥迪汽车广告 demo,可以看到整个视频的质感调性、镜头运用、节奏把控等方面效验都不错。类似这种 demo 通过 AI 实现起来非常快速,不妨替代传统提案环节的文字描写方式给客户展示,以便更好地对齐预期效验。尽管这只视频是 Runway 生成的,但我们预测一旦 Sora 开放,其制作水平必将达到与之相当的高度,甚至有望超越。这样的过程不仅提高了效率,还为我们与客户之间的沟通提供了更为直观、高效的工具。

当视频在手机上无法加载,可前往PC查看。

视频起源:小红书@sqlksq

我们再来看一个民间视频案例,一部电影预告片,可以看出这个片子并非遵循传统的叙事逻辑,却巧妙地展现出了大牌奢侈品广告的格调,设想一下,如果现在有客户希望拍摄一部太空科幻类题材的奢侈品广告片,那么我们不仅能借助 Sora 生成样片,也能在分镜画面,剪切节奏上得到一些灵感启发,能助力我们打造出更具创意和吸引力的广告作品。

视频起源:Sora 官网

阶段二:策划阶段

万字干货!Sora 如何如何转化为实际生产力?

Sora 能实现更低成本、更便捷的视频方案。这个阶段的受众是编导老师和策划老师,策划阶段的核心在于如何有效地将创意提案落地实施,这其中可能涉及了拍摄对象的选择、高难度拍摄技术的运用、以及解决资金问题等多个关键环节。通过 Sora 的助力就不妨大大节省在拍摄环节的资金投入,有效地缩短拍摄周期,降低时间成本,从而推动整个视频项目的顺利进行。下面我们依次看下。

作用 1:搞定拍摄对象。在策划阶段,我们首要解决的就是确定拍摄对象。我们知道 Sora 有强大的语义理解才智,它不妨保持主体在空间的一致性,为我们应对各种拍摄需求提供了有力支持。

视频起源:Sora 官网

作用 2:搞定高难度拍摄。因为 Sora 具有长镜头的稳定性以及多角度的运镜才智,所以不妨替代那些条件限制或设备不足的高难度拍摄事务,比如航拍,微距拍摄等等。

左侧视频起源:Sora 官网 右侧视频起源:Twitter@billpeeb

作用 3:补全素材。前面提到 Sora 强大的视频前后延伸功能,这一点可以在补全素材方面发挥巨大作用。不妨帮助我们把拍坏,没拍够的视频素材,做向前向后的延长,进一步完善素材,达到变废为宝的效验。

视频起源:Sora 官网

作用 4:后期创意实现。Sora 可以将两个视频自然无缝得合成过渡成一个视频,那么通过 Sora 的合成才智来辅助我们的创意事务,不仅提高了创意的呈现效验,还能大幅降低拍摄和后期环节的制作成本。

阶段三:执行阶段

万字干货!Sora 如何如何转化为实际生产力?

Sora 可以提供高质量的视频素材,辅助项目执行阶段事务提效,这个阶段的受众是剪辑老师们。执行环节面临最大的挑战点是缺少或者完全没有视频素材,如同“巧妇难以为无米之炊”。然而通过 Sora,我们可以轻松输出精确且海量的高质量素材库,这不仅极大地节省了剪辑师在筛选和寻找合适素材上所耗费的时间,也能提供高质量的视频素材,为我们的视频制作提供了更广阔的创作空间。这个阶段分成了三个点,我们来依次看下。

作用 1:精确&高质量素材库。Sora 具备文生视频、图生视频,视频生视频以及视频延长这些特性,都不妨精确的生成视频素材。现在 AI 视频实践应用的主流方式就是图生视频,其次是视频生视频,这两种生成方式的稳定性较好,可以为项目提供大量的素材补充。同时,Sora 还能生成高质量的视频素材,通过丰富的镜头语言和统一的故事主角,大大提高了素材的质量和实用性。

作用 2:素材可用性提高。Sora 最多能生成 60s 的视频,生成时长的延长为我们提供了更多的切片可能性,我们可以从中挑选出最佳素材,大大提高了素材的可用性。

作用 3:多尺寸素材。在 1920 像素下的可以生成任意比例内容,无论横屏还是竖屏都能完美适配,方便在实际事务中应对各种视频需求。

万字干货!Sora 如何如何转化为实际生产力?

2. 原创 IP 视频项目

刚才讲的都是在商业项目事务过程 Sora 的应用,那么回到我们团队的原创 IP 视频项目上,来看下 Sora 在我们现有的 AI 事务过程中能有什么新的加成?以及我们还会再分享一个全新的事务过程的案例,供人人参考和学习。

1. 目前使用 AI 的事务过程

先看一个我们团队既往视频项目的部分片段,一个新款手机发布的预热视频,要求制作一个时长 2 分钟的视频,但由于是新机尚未发布,为了保密事务不能提前曝光太多信息,能提供的手机素材只有 40 秒,同时视频画面要求融入较多的东方美学意境,这意味着我们需要很多高质量的素材来丰富内容,我们当时的解决方案是先使用 Midjourney 生成合适的素材图片,放到视频里,再配合内容做一些动态文字,让内容尽量“生动”起来,尽管如此,最终的视频效验看起来还是较为呆板,没能达到我们理想的效验。但如果使用 Sora,我们就能把生成的静态图片转化为带有中国风的动态视频了,也更能体现客户想要的东方美学的意境,也能大大提高整个视频的质感。

下面这个是我们团队一个原创公益项目——《开学季》AI视频的部分片段,所有AI人物都取材于真实人物和真实故事,由于有特殊群体的学生不方便露面,所以我们最终用AI形象来代替真实人物出镜,首先用Midjourney生成角色人物的数字形象,再用D-ID生成了模拟说话的视频,但视频还存在一些待优化的方面,比如人物的动作幅度比较小,只有头部微动,背景图片几乎没有动态等。如果使用Sora就能直接生成动作自然流畅的人物形象,以及有动态效验的背景视频。再配合对口型的AI工具,就能得到一段细腻丰富,又有肢体语言和动态背景的视频作品了。

2. 全新事务过程

说完目前的事务怎么做提高,我们再介绍一个使用 AI 的事务流的案例,我们觉得对于做原创 IP 视频也是有一定的启发性,这是 B 站网友@数字生命卡兹克制作的《流浪地球 3》的 AI 预告片,是一支完全用 AI 制作完成的视频短片,以及围绕 AI 视频制定的事务过程,整体效验既兼顾了视频质感实现创意起飞,又通过 AI 工具实现了整体提效。

使用的工具是 Midjourney 和 Runway,短片还被郭帆导演(流浪地球导演)点赞了。我们来看一下博主自己分享的经验,他说按照以前做片子的制作过程,从建模到渲染,再到剪辑,需要一个月的时间。但现在这只视频短片他只花了下班后的 5 个晚上,就全部制作完成了。共生成了将近 700 张图片,并用这些图片生成了 185 个镜头,最终使用了 60 个镜头剪辑。

当视频在手机上无法加载,可前往PC查看。

视频资料起源:B 站@数字生命卡兹克

他的过程很简单只有 2 步,第 1 步用 Midjourney 生成分镜图,他通过固定风格词的方式来保持视觉风格的统一。第 2 步就是用 Runway Gen2 图片生视频的才智,生成了 185 个 4 秒视频,但其中 4 秒全部能用的视频只占一两个,大部分都是只能用其中的 1 到 2 秒,但对于做短片剪辑也够了,整个事务过程高效且低成本,那么我们之后碰到类似情况,就可以通过这种 AI 生视频的方式来解决问题,这样既保持了视频质量,又不妨大大提高我们的事务效率。

那么以上,就是我们总结的第二章节,Sora 在事务过程中的应用,当然 Sora 的应用场景远不止我们以上举例的这些,希望能对人人有所帮助和启发,相信人人也能结合自己的实际事务实践出 Sora 更多应用的可能性……

第三章节:展望、储蓄和行动

那么最后我们也对 Sora 的未来做了一些展望与期待,以及面对 Sora 我们当下可以做哪些,为公测做好充分的准备,才能更从容迎接它的到来。我们相信通过我们的努力和储蓄,一定不妨从容应对各种挑战和变化。

1. 未来展望

时间:Sora 有望半年内正式发布。

关于正式发布时间目前大概有两种预测

预测一,参考 ChatGPT 和 Midjourney 半年一次的迭代速度,如果测试 Sora 需要差不多的时长,我们推测 Sora 有望在 8 月份正式发布;
预测二,有言论考虑到今年是美国大选的一年(2024 年 11 月 5 日),由于 Sora 天然带来的深伪隐患,所以 OpenAI 应该会慎重考虑,推迟 Sora 的正式发布时间。

万字干货!Sora 如何如何转化为实际生产力?

进化:Sora 很快就会有质的飞跃。前面第一章节有提到,对于 Sora 目前的一些短板和不足,民间都是直言不讳地披露出来,意味着 OpenAI 清楚地知道问题所在和改进方向,参考 GPT 和 Midjourney 对于逻辑问题的处理和手指细节的优化都是一个大版本就基本解决了,相信 Sora 在不久的将来,就会有可预见的质的飞跃。

阻力:使用 Sora 会有一定的门槛。鉴于 ChatGPT 在国内使用受限的情况,估计 Sora 也会面临同样的窘境,需要准备合规的账号;参考 Midjourney、ChatGPT 等效验强大的 AI 模型都是付费模式,预测 Sora 后面也是需要付费使用的。

2. 提前储蓄

我们在大量研究 Sora 民间案例和对应的文本指令后,又结合我们自身使用 AI 生成视频的相关经验,我们认为人人可以储蓄一些视频拍摄术语、画面与镜头感、分镜以及提醒词技巧等相关的专业才智,能帮助我们更快、更直接地得到想要的视频效验。那么我们具体看下需要储蓄的 5 个方面内容。

储蓄 1:学习拍摄相关的专业术语。我们常听见这样的记忆口诀——远全中近特,推拉摇移跟。前者说的是景别,后者说的是运镜。还有不同的拍摄角度,贴地角度能体现神秘感,仰拍镜头能彰显主体的力量,对应的俯拍镜头就可以削弱被拍摄者的力量,而鸟瞰镜头一般带来一种审判感。熟知这些专业术语,有助于我们后面在使用Sora时,能更快、更直接地得到自己想要的视频效验。

万字干货!Sora 如何如何转化为实际生产力?

还有我们经常听到的升格镜头,通过帧率上的升格,可以拉长戏剧时间,增加细节颗粒度。以及前段时间爆火的电视剧《繁花》,就运用了大量的前景镜头,来平衡画面重心,突出远近对比,拉伸纵向空间,来加强画面质感,提高了整体画面的氛围感。

当视频在手机上无法加载,可前往PC查看。

储蓄 2:提高自己的画面想象力。简单说就是提前设想出具体画面。我们只有先想象出来自己想要什么内容,才能用分镜语言描写给 Sora。如何提高画面想象力,归纳为一句话就是:多看,多积累。比如去看豆瓣的榜单、IMDB 的榜单等,但不能盲目无目标地看,带有目的去看,在阅片无数后你就会有不一样的收获。

万字干货!Sora 如何如何转化为实际生产力?

举个案例,像狗神里面最后一幕——在生命的最后一刻,男主角道格完成了自我救赎。他像婴儿学步一样,踉踉跄跄地走向晨光中的教堂,然后平静地倒在了十字架的阴影上。他照顾过的狗,一圈一圈围拢过来,像他的信徒,也像护送他升入天堂的”天使”。像这样的情绪升华,如果你没看过原片就没有对应的画面感,想象不出来。

当视频在手机上无法加载,可前往PC查看。

储蓄 3:学习视频分镜才智。换言之就是培养用文字语言描写画面的才智。去年文生图类 AI 工具大爆发的时候,如果人人体验过应该会有这种感受——当玩具用全是惊喜,当工具用全是惊吓。当玩具用时,因为没有目标,所以输出的内容完全是超出你预期的;而当你有一个事务任务,想要让AI生成特定的视觉效验时,发现它没那么好用了。所以当你不妨准确的描写出你想要的画面内容,生成的结果就离你的预期更近了一步。如上的情况类比到文生视频这个领域,如果你掌握了视频分镜才智,用文字精确描写出心中所想的画面,也就距离生成你想要的视频内容更近了一步。让我们看下面的具体例子,人人就会有更直观的感受,描写1的分镜非常概括,生成的结果如何,我们不可知。描写2的分镜更准确,所以得到的结果也就更符合预期,这种画面描写的才智就是我们说的分镜才智。

万字干货!Sora 如何如何转化为实际生产力?

除此之外,持续阅读也是提高分镜才智的有效手段。各位可以感受一下金庸《书剑恩仇录》里的一段精彩的文字描写,无论是细腻的场景描绘,还是人物动作的生动刻画,都显得极为生动。仅凭这段文字,相信人人的脑海中已经有一幅幅生动的画面感了。

万字干货!Sora 如何如何转化为实际生产力?

储蓄 4:归纳提醒词公式。文本提醒词就是现阶段 AIGC 工具的一个基本用法,那么总结归纳提醒词的使用规律,就成了我们更好使用 AIGC 工具的一个必经之路。

通过查看民间的视频提醒词,我们逆向反推出来的 Sora 提醒词公式大致是——Prompt=场景描写+角色描写+风格描写+技术细节,当然现阶段Sora尚未正式发布,提醒词公式的有效性还有待验证,但是整个思路是没有问题的。接下来我们以民间的视频提醒词为例,做一下归纳分析人人就能有直观地了解。

万字干货!Sora 如何如何转化为实际生产力?

储蓄 5:提高提醒词描写的准确性。众所周知无论是 ChatGPT 还是 Midjourney,抑或是将来正式发布的 Sora,它们在训练时接触的英文学习资料是最多的,所以和它们交流互动,英语描写也是最准确的。我们做个假设——假如前面的4种才智我们都具备了,但在最后和Sora互动的过程中,因为英文提醒词的描写不是很准确得不到想要的画面,是不是还挺糟心的?

当然我们可以借助各种翻译工具,把提醒词翻译成英文,但有些时候还是不尽理想,因为 AIGC 的提醒词有自己特定的格式,这和我们日常接触的英文格式是有差异的,所以我们认为好的日常英文翻译对于 Sora 而言,不见得是最好的提醒词。

下图是用”大漠孤烟直,长河落日圆” 诗句,通过百度翻译、谷歌翻译和 ChatGPT 给出的 Midjourney 提醒词生成的结果,可以看到图 1 没有画出“烟直”,图 2 像世界末日,图 3 整体更符合诗句描绘的画面。人人如果感兴趣可以用 ChatGPT 试着写写提醒词,感受一下和翻译软件两者之间的个中差异。当然这里并不是说 ChatGPT 一定就是最好的,这里只是给人人抛砖引玉,让人人感受下在不同平台的翻译结果可能带来的一些效验偏差。具体用哪个翻译工具,人人可以按照自己实际的使用感受来做判断。

万字干货!Sora 如何如何转化为实际生产力?

相信通过我们的努力和储蓄,一定不妨从容应对各种挑战和变化迎接 Sora。那么聊完关于 Sora 的展望和储蓄事务,现在我们除了继续等待 Sora 正式发布外,此时此刻我们还能做哪些事情?

3. 近期 TO DO

动作 1:尝试获得自主提醒词的视频效验。目前我们所能参考的除了民间公布的视频 demo 外,就是 OpenAI CEO 和员工在推特上回复网友提醒词的视频 demo,如果想测试自主撰写的提醒词的视频生成效验,人人可以在 Twitter 上@山姆·奥特曼和 OpenAI 的员工,有可能会被回复。

动作 2:第一时间申请测试名额。现阶段 Sora 处在红队对抗测试的阶段,如下是红队测试的申请网址,感兴趣的同学可以关注一下。

红队测试申请网址:https://openai.com/form/red-teaming-network

动作 3:做好现阶段的学习储蓄。我们可以先借助 Runway 生成视频进行实践练习;同时继续钻研提醒词技巧,无论 Runway 还是 Sora,精确的提醒词都是我们得到预期效验的关键环节,我们现在就可以储蓄一些相关技巧;此外还有脚本撰写、视频编辑等很多相关领域等待我们去探索学习;最后就是尽快行动起来,不是有句话这么说嘛—— “种一棵树最好的时间是十年前,其次是现在!”

备注:第三章内容除了团队成员间的讨论、整理撰写外,我们也吸收了很多优秀同行的观点和案例,正是因为有他们珠玉在前,才使得这一章读起来充实、生动、饱满。我们把链接也附在了最后,供人人详细了解和进一步学习。

好了,以上就是我们本篇文章关于的 Sora 从理论分析,到如何将 AI 技术转化为实际生产力,以及为了迎接 Sora 我们可以做哪些知识储蓄的具体内容。

写在最后

我们当下不用过度神话 Sora,因为 Sora 仍有很多的技术问题、产品、商业问题亟待解决;但同时我们也不要低估 AI 的进步速度,AI 正在以超出我们理解的速度不断迭代进化。

Sora 模型对外发布后,重新定义了 AI 文生视频在现阶段的技术极限,颠覆了生成式 AI 在视频领域的全球市场格局,其影响力已经渗透到设计、影视、广告等多个领域,它成为推动行业进步的重要力量,为整个行业带来了技术革新和效率提高。它改变了传统的视频制作过程,使得复杂的视频处理任务变得自动化和高效化。Sora 还推动了行业内的交流与合作,加速了 AI 技术在各个领域的融合与发展,为整个行业带来了更多的创新机会和发展空间。

对于个人设计师而言,Sora 模型的发布意味着我们拥有了一个强大的创作工具。可以大大帮助我们提高事务效率和事务质量,为我们提供了更广阔的创作空间,我们可以充分利用 Sora 模型的功能和优势,激发创新思维,提高技能水平,拓宽设计领域,从而不断提高自身的设计才智,为自己的职业发展打开更多的可能性。

相关资料参考:

Sora 官网:https://openai.com/sora
Sora 民间技术报告: https://openai.com/research/video-generation-models-as-world-simulators
《Sora 来之前我们应该干什么?》:https://mp.weixin.qq.com/s/ORfPbDT_2mRHZ7X_6P2gyw
《Sora 上线 72 小时,谁在兴奋?谁在颤抖?》 https://www.dedao.cn/share/course/article?id=Ozpeyw8lG6QaXkng5EJRd1ZoA75NLB&trace=eyJzX3BpZCI6IjEwODExMSIsInNfcHR5cGUiOiI2NSIsInNfdWlkIjo0MTQ5MDN9

如转载请与公众号联系获取内容授权,转载时请连同下方内容一起转发

给TA打赏
共{{data.count}}人
人已打赏
应用

Stable Diffusion ComfyUI 进阶教程(二):Controlnet 脸部与姿势预处理器

2024-3-19 0:44:32

应用

海报素材不用愁!8 组高质量空间场景类 Midjourney 提醒词

2024-3-19 8:44:27

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索