今天给大家介绍哈工程联合南大等提出的图像编辑方法FastDrag，该方法不需要LoRA训练，从而显著减少了图像编辑的时间消耗（FastDrag仅需3.12秒完成图像编辑），比DiffEditor快近700%（DiffEditor需要21.68秒完成图像编辑），比经典的基于n步迭代的图像编辑方法（如：DragDiffusion）快2800%（DragDiffusion需要1分21.54秒完成图像编辑）。此外，即使没有使用LCM加速的情况下，所提出的FastDrag方法仍然比目前SOTA的方法快很多。
相关链接
论文链接：https://arxiv.org/abs/2405.15769
项目主页: https://fastdrag-site.github.io/
论文阅读
摘要
使用生成模型的基于拖动的图像编辑可以精确控制图像内容，用户只需单击几下即可操作图像中的任何内容。然而，现行方法通常采用 n 步迭代进行潜在语义优化以实现基于拖动的图像编辑，这非常耗时并且限制了实际应用。
在本文中，我们介绍了一种新颖的基于拖动的一步式图像编辑方法，即 FastDrag，以加速编辑过程。我们方法的核心是潜在扭曲函数 (LWF)，它模拟拉伸材料的行为来调整潜在空间内各个像素的位置。这一创新实现了一步式潜在语义优化，因此显著提高了编辑速度。同时，应用 LWF 后出现的空区域可以通过我们提出的双边最近邻插值 (BNNI) 策略解决。该策略使用来自邻近区域的相似特征对这些区域进行插值，从而增强了语义完整性。
此外，我们还引入了一致性保持策略，通过采用原始图像中的语义信息（在扩散反演期间保存为自注意力模块中的键值对）来指导扩散采样，以保持编辑后图像与原始图像之间的一致性。我们的 FastDrag 在 DragBench 数据集上得到了验证，与现有方法相比，它在处理时间上有了显著的改进，同时实现了增强的编辑性能。
方法
FastDrag 的总体框架包括四个阶段：扩散反演、扩散采样、一步翘曲优化和 BNNI。扩散反演产生噪声潜伏 zt，扩散采样从优化的噪声潜伏 z′t 重建图像。一步翘曲优化用于噪声潜伏优化，其中提出使用 LWF 生成翘曲向量，通过简单的潜伏重定位操作调整噪声潜伏上各个像素的位置。BNNI 用于增强噪声潜伏的语义完整性。引入了一致性保持策略来保持原始图像和编辑图像之间的一致性。
实验
与其他方法比较
与最先进的方法进行定性比较的说明。
与 DragBench 上最先进的方法进行定量比较。这里，较低的 MD 表示更精确的拖拽结果，而较高的 1-LPIPS 则反映生成图像与原始图像之间的相似性更高。时间指标表示基于 RTX 3090 的每个点所需的平均时间。准备表示 LoRA 训练。† 表示没有配备 LCM 的 U-Net 的 FastDrag。
消融实验
结论
本文提出了一种基于拖拽的新型图像编辑方法 FastDrag，该方法比其他现有方法具有更快的图像编辑速度。通过提出一步式变形优化和 BNNI 策略，该方法可以在很短的时间内根据拖拽指令实现高质量的图像编辑。此外，通过一致性保持策略，它确保了生成的图像与原始图像的一致性。
