Upscale-A-Video - AI在线

「花果山名场面」有了高清画质版，NTU提出视频超分框架Upscale-A-Video

扩散模型在图像生成方面取得了显著的成功，但由于对输出保真度和时间一致性的高要求，将这些模型应用于视频超分辨率仍然具有挑战性，特别是其固有的随机性使这变得复杂。来自南洋理工大学 S-Lab 的研究团队提出了一种用于视频超分的文本指导（text-guided）潜在扩散框架 ——Upscale-A-Video。该框架通过两个关键机制确保时间一致性：在局部，它将时间层集成到 U-Net 和 VAE-Decoder 中，保持短序列的一致性；在全局范围内，无需训练，就引入了流指导（flow-guided）循环潜在传播模块，通过