零样本 | ZAPS:零样本扩散采样,3倍加速逆问题重建,重塑高效影像修复新范式

一、 一眼概览ZAPS(Zero-Shot Approximate Posterior Sampling)是一种针对扩散模型(Diffusion Models, DMs)在逆问题(Inverse Problems)中的高效采样方法。 它利用零样本学习(Zero-Shot Learning)进行自适应超参数优化,使得扩散采样步骤固定,同时提高重建质量并减少推理时间。 二、核心问题当前的扩散模型在解决逆问题(如去模糊、修复、超分辨率)时,存在以下挑战:需要大量的采样步骤,导致推理速度慢;现有的噪声调度策略(Noise Schedule)在逆问题场景下难以直接适用;传统方法使用手动调整的对数似然权重(Log-Likelihood Weights),不够鲁棒,容易导致次优解。

一、 一眼概览

ZAPS(Zero-Shot Approximate Posterior Sampling)是一种针对扩散模型(Diffusion Models, DMs)在逆问题(Inverse Problems)中的高效采样方法。它利用零样本学习(Zero-Shot Learning)进行自适应超参数优化,使得扩散采样步骤固定,同时提高重建质量并减少推理时间。

二、核心问题

当前的扩散模型在解决逆问题(如去模糊、修复、超分辨率)时,存在以下挑战:

  • 需要大量的采样步骤,导致推理速度慢;
  • 现有的噪声调度策略(Noise Schedule)在逆问题场景下难以直接适用;
  • 传统方法使用手动调整的对数似然权重(Log-Likelihood Weights),不够鲁棒,容易导致次优解。论文核心问题:如何在固定的采样步数下,提高扩散模型的逆问题求解性能,并自适应优化超参数?

三、技术亮点

1. 提出零样本近似后验采样(ZAPS)方法

• 通过零样本学习自动优化对数似然权重,无需手动调整;

• 避免传统方法中的手工调参问题,适应不同的噪声调度。

2. 设计基于离散小波变换(DWT)的 Hessian 近似

• 近似后验的二阶信息,提高计算效率;,,,,,,,,,;

    3. 优化采样策略,实现快速收敛

• 结合不规则噪声调度(Irregular Noise Schedule),在低噪声水平更多采样;

• 相比传统方法,将采样步数从1000步减少到 20-30步,实现3×加速

四、方法框架

图片图片

ZAPS 通过以下关键步骤完成扩散模型的高效后验采样:

1. 采样初始化:从噪声分布开始,设定固定的采样步数(S 步)。

2. 零样本优化

• 采用自监督损失函数调整对数似然权重 ζt;

• 通过 DWT 近似 Hessian 计算,提高计算效率。

3. 逐步采样更新

• 交替执行扩散模型采样(Score Model Sampling, SMS)和似然引导(Likelihood Guidance, LG)

4. 最终输出:生成高质量的逆问题重建结果。

五、实验结果速览

图片图片

论文在FFHQ、ImageNet等数据集上进行了去模糊、修复、超分辨率等任务测试,主要结果如下:

• ZAPS 在超分辨率任务中比 DPS 提高 2.77dB(PSNR),且计算时间减少 3 倍。

• 相较于 DDRM,ZAPS 在相近计算复杂度下显著提升图像质量

• 实验验证 ZAPS 在多种逆问题(高斯去模糊、运动去模糊、超分辨率、图像修复)上均表现优越

6. 实用价值与应用

ZAPS 具备广泛的实际应用场景:

• 医学影像重建(MRI、CT 降噪):减少成像时间,提高细节还原能力;

• 自动驾驶(图像去模糊):提升低光环境下的视觉感知能力;

• 计算机视觉(图像修复):改善低质量视频和照片;

• 遥感成像(超分辨率重建):提高卫星影像质量。

7. 开放问题

• ZAPS 是否能推广到非线性逆问题(如 3D 重建、层析成像)?

• 如果输入数据具有极端噪声或大尺度失真,ZAPS 的性能如何?

• 该方法是否可用于文本和信号处理领域,如语音降噪、时序预测?

相关资讯

美图影像节发布7款影像生产力工具,推出懂美学的视觉大模型

6月19日,美图公司举办以“AI时代的影像生产力工具”为主题的第二届影像节,现场发布7款新品:AI视觉创作工具WHEE;AI口播视频工具开拍;桌面端AI视频编辑工具WinkStudio;主打AI商业设计的美图设计室2.0;AI数字人生成工具DreamAvatar;美图AI助手RoboNeo;美图视觉大模型MiracleVision。 全面提供从生活场景到生产力场景影像服务的同时,美图公布了最新的VIP会员数量,截至6月18日,美图全球VIP会员数为719万。 美图公司创始人、董事长兼首席执行官吴欣鸿介绍说:“过去美

达摩院发布AI遥感分析云平台,助力提升地球科学研究效率

3月3日,达摩院发布AI Earth地球科学云平台,平台集成了PB级开源卫星遥感数据、十余种遥感AI算法、云端高性能计算和存储资源,助力研究者开展农业灾害分析、气候变化分析、水体水质分析等科研工作。卫星遥感影像是人类对地观测的重要信息来源,但获取、处理以及分析应用卫星遥感数据的链路较长、成本较高。研究人员需要向卫星数据运营机构申请获取数据或者下载行业公开数据,在本地计算机存储配置后才能进行数据分析。而分析环节对机器的计算和存储资源要求较高,普通计算机无法满足大规模影像数据分析的需求。另外,现有分析方法自动化程度低、

vivo影像战略发布,新一代自研影像芯片及多项新技术亮相

2022 年 10 月 24 日,vivo 影像战略发布会正式召开。会上,vivo 盘点了之前在影像理念上的坚持,即通过专业化的能力还原眼之所见,超越眼之所见,并将专业影像技术赋能每一个人,持续为消费者提供人性化的专业影像体验。vivo 的影像技术矩阵也在此次影像战略发布会正式公布:围绕“三个比肩”,坚持联合创新和自主创新两大战略支点,在日趋同质化的影像赛场中创造竞争优势,力求在移动影像赛道上筑起技术壁垒,并保持持续领先。 vivo 影像副总裁于猛vivo 影像副总裁于猛、vivo 影像产品高级总监李卓、蔡司消费光