AI 生成内容已经成为当前人工智能范畴的最热门话题之一，也代表着该范畴的前沿技术。近年来，随着 Stable Diffusion、DALL-E3、ControlNet 等新技术的发布，AI 图象生成和编纂范畴实现了令人惊艳的视觉效果，并且在学术界和工业界都受到了广泛关注和探讨。这些方法大多鉴于散布模型，而这正是它们能够实现强大可控生成、照片级生成以及多样性的关键所在。
然而，与简单的静态图象相比，视频具有更为丰富的语义信息和动态变化。视频能够展示实物的动态演变过程，因此在视频生成和编纂范畴的需求和挑战更为复杂。尽管在这个范畴，受限于标注数据和计算资源的限制，视频生成的研讨一直面临困难，但是一些代表性的研讨事情，比如 Make-A-Video、Imagen Video 和 Gen-2 等方法，已经开始逐渐占据主导地位。
这些研讨事情引领着视频生成和编纂技术的发展方向。研讨数据显示，自从 2022 年以来，关于散布模型在视频义务上的研讨事情呈现出爆炸式增长的态势。这种趋势不仅体现了视频散布模型在学术界和工业界的受欢迎程度，同时也凸显了该范畴的研讨者们对于视频生成技术不断突破和创新的迫切需求。
近期，复旦大学视觉与学习实验室联合微软、华为等学术机构发布了首个关于散布模型在视频义务事情的综述，系统梳理了散布模型在视频生成、视频编纂以及视频理解等方向的学术前沿成果。
论文链接：https://arxiv.org/abs/2310.10647
主页链接：https://github.com/ChenHsing/Awesome-Video-Diffusion-Models
视频生成
鉴于文本的视频生成：自然语言作为输出的视频生成是视频生成范畴最为重要的义务之一。作家首先回顾了散布模型提出之前该范畴的研讨成果，然后分别介绍了鉴于训练的和无需训练的文本 – 视频生成模型。
Christmas tree holiday celebration winter snow animation.
鉴于其他前提的视频生成：细分范畴的视频生成事情。作家将它们归类为鉴于以下的前提：姿势（pose-guided）、动作（motion-guided）、声音（sound-guided）、图象（image-guided）、深度图（depth-guided）等。
无前提的视频生成：该义务指的是在特定范畴中无需输出前提的视频生成，作家根据模型架构主要分为鉴于 U-Net 和鉴于 Transformer 的生成模型。
视频补全：主要包括视频增强和恢复、视频预测等义务。
数据集：视频生成义务所用到的数据集可分为以下两类：
1.Caption-level：每个视频都有与之对应的文本描述信息，最具代表性的就是 WebVid10M 数据集。
2.Category-level：视频只有分类标签而没有文本描述信息，UCF-101 是目前在视频生成、视频预测等义务上最常用的数据集。
评介目标与结果对比：视频生成的评介目标主要分为质量层面的评介目标和定量层面的评介目标，质量层面的评介目标主要是鉴于人工主观打分的方式，而定量层面的评介目标又可以分为：
1. 图象层面的评介目标：视频是由一系列的图象帧所组成的，因此图象层面的评估方式基本上参照 T2I 模型的评介目标。
2. 视频层面的评介目标：相比于图象层面的评介目标更偏向于逐帧的权衡，视频层面的评介目标能够权衡生成视频的时序连贯性等方面。
此外，作家还将前述提到的生成模型在基准数据集上的评介目标进行了横向比较。
视频编纂
通过对许多研讨的梳理，作家发现视频编纂义务的核心目标在于实现：
1. 保真度（fidelity）：编纂后的视频的对应帧应当与原视频在内容上保持一致。
2. 对齐性（alignment）：编纂后的视频需要和输出的前提保持对齐。
3. 高质量（high quality）：编纂后的视频应当是连贯且高质量的。
鉴于文本的视频编纂：考虑到现有文本 – 视频数据规模有限，目前大多数鉴于文本的视频编纂义务都倾向于利用预训练的 T2I 模型，在此基础上解决视频帧的连贯性和语义不一致性等问题。作家进一步将此类义务细分为鉴于训练的（training-based）、无需训练的（training-free）和一次性调优的（one-shot tuned）方法，分别加以总结。
鉴于其他前提的视频编纂：随着大模型时代的到来，除了最为直接的自然语言信息作为前提的视频编纂，由指令、声音、动作、多模态等作为前提的视频编纂正受到越来越多的关注，作家也对相应的事情进行了分类梳理。
特定细分范畴的视频编纂：一些事情关注到在特定范畴对视频编纂义务有特殊定制化的需求，例如视频着色、人像视频编纂等。
视频理解
散布模型在视频范畴的应用已远不止传统的视频生成和编纂义务，它在视频理解义务上也展现了出巨大的潜能。通过对前沿论文的追踪，作家归纳了视频时序分割、视频异常检测、视频物体分割、文本视频检索、动作识别等 10 个现有的应用场景。
未来与总结
该综述全面细致地总结了 AIGC 时代散布模型在视频义务上的最新研讨，根据研讨对象和技术特点，将百余份前沿事情进行了分类和概述，在一些经典的基准（benchmark）上对这些模型进行比较。此外，散布模型在视频义务范畴也还有一些新的研讨方向和挑战，如：
1. 大规模的文本 – 视频数据集收集：T2I 模型的成功离不开数以亿计高质量的文本 – 图象数据集，同样地，T2V 模型也需要大量无水印、高分辨率的文本 – 视频数据作为支撑。
2. 高效的训练和推理：视频数据相比于图象数据规模巨大，在训练和推理阶段所需要的算力也呈几何倍数增加，高效的训练和推理算法能极大地降低成本。
3. 可靠的基准和评介目标：现有视频范畴的评介目标往往在于权衡生成视频与原视频在分布上的差异，而未能全面权衡生成视频的质量。同时，目前用户测试仍然是重要的评估方式之一，考虑到其需要大量人力且主观性强，因此迫切需要更为客观全面的评介目标。