AI 生成视频发展到什么程度了，效果如何？有哪些可用的产物方案？网上炫酷的效果如何实现？AI 视频的运用场景和案例有哪些？
本着对以上题目的探索，我开启了 AI 视频系列的探索。上篇将着重介绍技巧发展概况和运用场景思考。
更多AI视频生成神器介绍：
一、技巧发展概况
长期以来，人们对 AI 视频技巧运用的认知停留在各种“换脸”和视频特效上。随着 AI 图象领域的技巧发展，AI 视频技巧也逐渐取得了突破。本节实质结合 Claude、Perplexity 查询、项目论文整理而成。
1. 生成要领
从交互方式来看，当前 AI 视频生成主要可分为文本生成视频、图片生成视频、视频生成视频三种形式。
一些视频生成要领是先生成静态关键帧图象，然后构建为视频序列。也存在直接端到端生成视频的技巧，无需进行多阶段处理即可生成视频，如基于 GAN、VAE、Transformer 的要领。
当视频在手机上无法加载，可前去PC观察。
微软 NUWA-XL：通过逐步生成视频关键帧，形成视频的“粗略”故事情节，然后通过局部扩散模型（Local Diffusion）递归地填充附近帧之间的实质。
2. 关键帧 + 补间技巧方式间的差异
代表产物：Deforum、AnimateDiff、Rerender a Video
（1）关键帧生成方式很多，主要通过各种 AI 生成图片的方式解决，最主流的方式是 Stable Diffusion，可最大程度的保证不同帧风格一致，在下文中会详细介绍实操案例。
（2）补帧算法:主要用于平滑关键帧之间的动作和细节。
光流补帧：通过计算两帧图象之间每个像素的运动向量，根据光流场生成中间帧。优点是计算量较小，速度快。代表产物是 EbSynth。
基于姿态补帧：利用人体关键点检测计算姿态信息（关节位置、角度等信息），进行中间帧图象合成。适合为具有复杂运动的复杂对象或角色创造动画。
重参考补帧：运用相邻的后向和前向帧作为参考，通过双向帧信息进行像素级补帧。
（3）完善策略: 进一步提高生成视频的整体品质和连贯性，协同补帧算法，弥补关键帧生成可能存在的各类缺陷。不同模型运用的要领有所差异。
渐进补帧：通过迭代多次补帧完善视频品质，逐步提高分辨率和连贯性。
递归框架：递归完善每一帧，直到达到品质要求。
增强后处理：运用图象增强 GAN 等技巧，对生成的视频进行修复和提高，特别提高存在模糊、残影等题目的区域，增强整体品质。
对比进修：指进修和对比真实高品质视频数据，从中提取提高生成视频细节的模式。
模糊处理：运用滤波、平滑等算法处理生成视频，减少帧间的不连贯引起的毛刺和锯齿题目，增强视觉流畅性。
融合多个模型：不同模型生成相同视频，进行模型融合。
3. 端到端视频生成的技巧差异
代表产物：Runway
GAN 生成对抗网络:
是一种无监督的生成模型框架，通过让两个神经网络相互博弈来进行机器进修。可以生成视觉逼真度高的视频，但控制难度大、时序建模较弱。
VAE 变分自编码器:
它是一种可以进修数据分布的网络结构。就像把视频文件压缩成较小的文件再解压一样，它可以重建视频数据。VAE 可以根据条件输入控制生成过程，但品质较 GAN 略低。
GAN、VAE 生成视频速度快，缺点是生成品质和分辨率较低，长度短，控制本领弱。
Transformer 自注意力机制:
通过进修视频帧之间的关系，理解视频的长期时间变化和动作过程，这种方式对长视频建模更好，时序建模本领强，可实现细粒度语义控制，缺点是计算量大。
4. AI 视频生成当前面临的题目
当前仍面临生成时间长、视频品质不稳定，生成的视频语义不连贯、帧间存在闪烁、分辨率较低等题目。解决方案有：
运用渐进生成、增强时序一致性的模型等要领解决。
上述的补帧算法、视频完善策略也可在一定程度上缓解题目。
二、运用场景思考
1. 现阶段运用场景
在盘点完全部产物后，我感受到 AI 视频产物目前面向的主要受众群体有：
（1）专业创作者（艺术家、影视人等）：
AI 生成能够为作品赋予独特风格和想象力，为创作者提供灵感，配合高超的剪辑技巧和叙事本领，便可以创造出超乎想象的效果。低成本动捕更是能够大幅降低后期创造的门槛和成本，自动识别背景生成绿幕、视频主体跟随运动等能够辅助视频编辑，为后期创造增加更多空间。
目前该运用主要集中在音乐 MV、短篇电影、动漫等方向。
一些 AI 视频平台也积极寻求创意合作，为创作者提供免费支持。
当视频在手机上无法加载，可前去PC观察。
@valleeduhamel 运用现有的素材、Gen-1 和大量合成创作了新电影《After Light》的过程分享
当视频在手机上无法加载，可前去PC观察。
Ammaar Reshi 的团队运用 Stable WarpFusion + Davinci Resolve 创造完整的动漫剧情，创造过程分享
（2）自媒体、非专业创作者：
这部分人群通常有着非常具体且明确的视频剪辑痛点。
a. 比如科技、财经、资讯类重脚本实质的视频在创造时需花费大量时间寻找视频素材、还需注意视频版权题目。一些产物（Invideo AI、Pictory）已经在发力脚本生成分镜、视频，帮助创作者降低视频素材创造门槛。
Gamma AI 已经实现了文章高效转 PPT 的本领，若能结合 Synthesia、HeyGen AI、D-ID 等产物的 Avatar、语音生成本领也可快速转化为视频实质。
当视频在手机上无法加载，可前去PC观察。
b.不同平台适合不同实质形式，创作者想要将同一个素材在不同平台分发就意味着创造成本的升高。而 OpusClip 提供的长视频转短视频致力于解决这一痛点。
当视频在手机上无法加载，可前去PC观察。
（3）企业客户：
对于没有足够视频创造资金的小企业、非盈利机构来说，AI 视频生成可以为其大幅缩减成本。
想要创造低成本的营销视频、企业宣传视频、培训课程，可以运用 Synthesia、HeyGen AI、D-ID 等产物，用 Avatar 代替真人出镜。
又如出海企业需要给产物（商品）推广、介绍运用体验，早在 21 年，诗云马良平台就推出了给视频中模特换脸、切换语言的本领，方便电商营销商家进行产物的本地化推广。近期 HenGen AI 也公布了 AI 切换视频内语言的本领，并且能够将 Avatar 口型与视频相匹配。
在互联网设计工作流中的运用畅想
在互联网产物设计领域，设计师的工作主要涉及宣传视频、3D 动画、页面动画、图标动画创造，且产出实质需具备具体需求场景下落地的要求。
目前 Move AI 这样的产物让我看到了在游戏和产物设计工作中大幅降低 3D 动画创造成本的可能。未来设计师可能只需要拍摄特定动作并映射到创造好的 3D 模型中，快速创造动画方案。
By Mark Peart
目前，Figma、Protopie 等产物支持的智能动画功能已经能够基于补间算法，在用户仅定义动画的开始和结束状态的情况下自动生成中间帧。未来不排除实现通过文字更加精确的控制动画的可能。
下一篇中，我们将着重了解每个产物的特点和具体运用要领，也会通过实践案例展示效果。