OpenAI 公布新型 AI 文生图方案“sCM”,号称效率是传统扩散模型 50 倍

OpenAI 本周公布了一款名为 sCM(Continuous-Time Consistency Model)的新型 AI 文生图方案。 与传统的扩散模型相比,sCM 仅需两个步骤即可生成高质量样本,号称能够将文生图效率提升约 50 倍,且生成的样本质量能与“业界较强的扩散模型”相比较,为 AI 文生图提供了新的方案。 目前业界通常使用扩散模型生成图片及音视频,但传统扩散模型的取样过程通常缓慢,通常需要数十到数百个逐步降噪的过程才能生成高质量样本(例如小伙伴们使用 SD“炼丹”绘图就需要等待特别长的降噪时间),这使得相应模型效率低下,不适合商业化应用。

OpenAI 本周公布了一款名为 sCM(Continuous-Time Consistency Model)的新型 AI 文生图方案。

与传统的扩散模型相比,sCM 仅需两个步骤即可生成高质量样本,号称能够将文生图效率提升约 50 倍,且生成的样本质量能与“业界较强的扩散模型”相比较,为 AI 文生图提供了新的方案。

OpenAI 公布新型 AI 文生图方案“sCM”,号称效率是传统扩散模型 50 倍

目前业界通常使用扩散模型生成图片及音视频,但传统扩散模型的取样过程通常缓慢,通常需要数十到数百个逐步降噪的过程才能生成高质量样本(例如小伙伴们使用 SD“炼丹”绘图就需要等待特别长的降噪时间),这使得相应模型效率低下,不适合商业化应用。

虽然目前业界已出现一些技术以加快扩散模型的速度,但无非只是利用复杂训练过程“提纯”模型,或通过降低输出样本质量下降以提升效率。

而 OpenAI 研究团队则提出了一种名为 sCM 的文生图方案,这一生成模型方法绕开了传统扩散模型范畴,号称仅需两个取样步骤即可生成与扩散模型质量相当的高分辨率样本,极大缩短了生成时间。

OpenAI 公布新型 AI 文生图方案“sCM”,号称效率是传统扩散模型 50 倍

AI在线获悉,sCM 训练方法主要利用预训练扩散模型蒸馏出来的知识直接打造模型,号称能够在缩短取样时间的同时保持高质量样本生成。

OpenAI 公布新型 AI 文生图方案“sCM”,号称效率是传统扩散模型 50 倍

▲ 通过 sCM 方案训练的模型生成的图片

研究人员使用 ImageNet 512x512 数据集,利用 sCM 方法训练模型,号称能够生成细节丰富且高质量的图像,展示其在高分辨率生成方面的能力。尽管 sCM 只有两个取样步骤,生成样本的质量仍接近业界“最佳的扩散模型”,号称“差异不到 10%”。

相关资讯

图生成扩散模型综述:算法与在分子和蛋白质建模上应用

论文简要回顾了扩散模型在图数据上的算法及相关应用的若干研究。论文链接::(Graph-based Data)可以保存现实世界实体(节点)之间丰富多样的关系信息,包括实体间的关联联系、属性特征、以及拓扑结构,已经在社交网络分析、推荐系统、生物信息学等领域有广泛的应用。图生成模型旨在理解和学习现有的图数据分布,并合成新的图样本。这对于研究图数据中潜在的图结构关系,理解现有数据中的模式、关联和隐藏的信息具有重要的意义。生成模型可以用于探索图数据不同尺度的关系、发现社区结构、预测节点属性等。主要的图生成范式分为两类:自回归

生成的分子几乎 100% 有效,用于逆向分子设计的引导扩散模型

编辑 | 绿萝「从头分子设计」是材料科学的「圣杯」。生成深度学习的引入极大地推进了这一方向,但分子发现仍然具有挑战性,而且往往效率低下。以色列理工学院(Technion-Israel Institute of Technology)和意大利威尼斯大学(University Ca’ Foscari of Venice)的研究团队,提出一种用于逆向分子设计的引导扩散模型:GaUDI,它结合了用于属性预测的等变图神经网络和生成扩散模型。研究人员通过将单目标和多目标任务应用于生成的 475,000 个多环芳香族系统数据集,

《Pattern Recognition Letters》特刊通知

主题:深度学习模型安全简介:深度学习已广泛应用于自然语言处理、计算机视觉、数据安全等诸多领域。为学习到有效的深度模型,需花费大量时间和精力来收集数据与分配计算资源。这些模型可能会被非法使用,从而牺牲模型所有者的权益。另一方面,深度学习模型也容易受到对抗样本或毒化数据的攻击。这严重降低了深度学习技术的准确性和可靠性。为此需进行深度学习模型安全研究,保障模型的真实性和可靠性,以抵御各种攻击。该研究还处于起步阶段,虽然已取得了一定进展,但要为基于深度学习的应用开发稳健可靠的模型还远远不够。本期特刊旨在推动深度学习模型的攻