近日，由清华大学计算机系朱军教授课题组发布的鉴于薛定谔桥的语音分解系统 [1]，凭借其 「数据到数据」的生成范式，在样本质量和采样速度两方面，均击败了散布模型的 「噪声到数据」范式。
论文链接：https://arxiv.org/abs/2312.03491
项目网站：https://bridge-tts.github.io/
代码实现：https://github.com/thu-ml/Bridge-TTS
问题背景
自 2021 年起，散布模型（diffusion models）开始成为文本到语音分解（text-to-speech, TTS）领域的核心生成方式之一，如华为诺亚方舟实验室提出的 Grad-TTS [2]、浙江大学提出的 DiffSinger [3] 等方式均实现了较高的生成质量。此后，又有众多研讨工作有效提升了散布模型的采样速度，如通过先验优化 [2,3,4]、模型蒸馏 [5,6]、残差预测 [7] 等方式。然而，如此项研讨所示，由于散布模型受限于「噪声到数据」的生成范式，其先验分布对生成目标提供的信息始终较为有限，对条件信息无法利用充分。
本次语音分解领域的最新研讨工作，Bridge-TTS，凭借其鉴于薛定谔桥的生成框架，实现了「数据到数据」的生成过程，首次将语音分解的先验信息由噪声修改为干净数据，由分布修改为确定性表征。
该方式的主要架构如上图所示，输入文本首先经由文本编码器提取出生成目标（mel-spectrogram, 梅尔谱）的隐空间表征。此后，与散布模型将此信息并入噪声分布或用作条件信息不同，Bridge-TTS 的方式支持直接将其作为先验信息，并支持通过随机或确定性采样的方式，高质量、快速地生成目标。
工作成果
在验证语音分解质量的标准数据集 LJ-Speech 上，研讨团队将 Bridge-TTS 与 9 项高质量的语音分解系统和散布模型的加速采样方式进行了比较。如下所示，该方式在样本质量上（1000 步、50 步采样）击败了鉴于散布模型的高质量 TTS 系统 [2,3,7]，并在采样速度上，在无需任何后处理如额外模型蒸馏的条件下，超过了众多加速方式，如残差预测、渐进式蒸馏、以及最新的一致性蒸馏等工作 [5,6,7]。
以下是 Bridge-TTS 与鉴于散布模型方式的生成成效示例，更多生成样本比较可访问项目网站：https://bridge-tts.github.io/
1000 步分解成效比较
输入文本：「Printing, then, for our purpose, may be considered as the art of making books by means of movable types.」
4 步分解成效比较
输入文本：「The first books were printed in black letter, i.e. the letter which was a Gothic development of the ancient Roman character，」
2 步分解成效比较
输入文本：「The prison population fluctuated a great deal,」
下面展示了 Bridge-TTS 一个在 2 步和 4 步的一个确定性分解（ODE sampling）案例。在 4 步分解中，该方式相较于散布模型显著分解了更多样本细节，并没有噪声残留的问题。在 2 步分解中，该方式展示出了完全纯净的采样轨迹，并在每一步采样完善了更多的生成细节。
在频域中，更多的生成样本如下所示，在 1000 步分解中，该方式相较于散布模型生成了更高质量的梅尔谱，当采样步数降到 50 步时，散布模型已经牺牲了部分采样细节，而鉴于薛定谔桥的该方式仍然保持着高质量的生成成效。在 4 步和 2 步分解中，该方式不需蒸馏、多阶段训练、和对抗损失函数，仍然实现了高质量的生成成效。
在 1000 步分解中，Bridge-TTS与鉴于散布模型的方式的梅尔谱比较
在 50 步分解中，Bridge-TTS与鉴于散布模型的方式的梅尔谱比较
在 4 步分解中，Bridge-TTS与鉴于散布模型的方式的梅尔谱比较
在 2 步分解中，Bridge-TTS与鉴于散布模型的方式的梅尔谱比较
Bridge-TTS一经发布，凭借其在语音分解上新颖的设计与高质量的分解成效，在 Twitter 上引起了热烈关注，获得了百余次转发和数百次点赞，入选了 Huggingface 在 12.7 的 Daily Paper 并在当日获得了支持率第一名，同时在 LinkedIn、微博、知乎、小红书等多个国内外平台被关注与转发报道。
多个外文网站也进行了报道和讨论：
方式介绍
薛定谔桥（Schrodinger Bridge）是一类继散布模型之后，近期新兴的深度生成模型，在图像生成、图像翻译等领域都有了初步应用 [8,9]。不同于散布模型在数据和高斯噪声之间建立变换过程，薛定谔桥支持任意两个边界分布之间的转换。在 Bridge-TTS 的研讨中，作者们提出了鉴于成对数据间薛定谔桥的语音分解框架，灵活支持着多种前向过程、预测目标、及采样过程。其方式概览如下图所示：
前向过程：此研讨在强信息先验和生成目标之间搭建了一种完全可解的薛定谔桥，支持灵活的前向过程选择，如对称式噪声策略：
、常数
，和非对称噪声策略: 
、线性
，以及直接与散布模型相对应的方差保持（VP）噪声策略。该方式发现在语音分解任务中非对称噪声策略：即线性
（gmax）和 VP 过程，相较于对称式噪声策略有更好的生成成效。
模型训练：该方式保持了散布模型训练过程的多个优点，如单阶段、单模型、和单损失函数等。并且其比较了多种模型参数化（Model parameterization）的方式，即网络训练目标的选择，包括噪声预测（Noise）、生成目标预测（Data）、和对应于散布模型中流匹配技术 [10,11] 的速度预测（Velocity）等。文章发现以生成目标，即梅尔谱为网络预测目标时，可以取得相对更佳的生成成效。
采样过程：得益于该研讨中薛定谔桥完全可解的形式，对薛定谔桥对应的前 – 后向 SDE 系统进行变换，作者们得到了 Bridge SDE 和 Bridge ODE 用于推断。同时，由于直接模拟 Bridge SDE/ODE 推断速度较慢，为加快采样，该研讨借助了散布模型中常用的指数积分器 [12,13]，给出了薛定谔桥的一阶 SDE 与 ODE 采样形式：
在 1 步采样时，其一阶 SDE 与 ODE 的采样形式共同退化为网络的单步预测。同时，它们与后验采样 / 散布模型 DDIM 采样有着密切联系，文章在附录中给出了详细分析。文章也同时给出了薛定谔桥的二阶采样 SDE 与 ODE 采样算法。作者发现，在语音分解中，其生成质量与一阶采样过程类似。
在其他任务如语音增强、语音分离、语音编辑等先验信息同样较强的任务中，作者们期待此研讨也会带来较大的应用价值。
作者简介
此项研讨有三位共同第一作者：陈泽华，何冠德，郑凯文，均属于清华大学计算机系朱军课题组，文章通讯作者为朱军教授，微软亚洲研讨院首席研讨经理谭旭为项目合作者。
朱军教授
微软亚洲研讨院首席研讨经理谭旭
陈泽华是清华大学计算机系水木学者博士后，主要研讨方向为概率生成模型，及其在语音、音效、生物电信号分解等方面的应用。曾在微软、京东、TikTok 等多家公司实习，在语音和机器学习领域重要国际会议 ICML/NeurIPS/ICASSP 等发表多篇论文。
何冠德是清华大学在读的三年级硕士生，主要研讨方向是不确定性估计与生成模型，此前在 ICLR 等会议以第一作者身份发表论文。
郑凯文是清华大学在读的二年级硕士生，主要研讨方向是深度生成模型的理论与算法，及其在图像、音频和 3D 生成中的应用。此前在 ICML/NeurIPS/CVPR 等顶级会议发表多篇论文，涉及了散布模型中的流匹配和指数积分器等技术。
参考文献：
[1] Zehua Chen, Guande He, Kaiwen Zheng, Xu Tan, and Jun Zhu. Schrodinger Bridges Beat Diffusion Models on Text-to-Speech Synthesis. arXiv preprint arXiv:2312.03491, 2023.
[2] Vadim Popov, Ivan Vovk, Vladimir Gogoryan, Tasnima Sadekova, and Mikhail A. Kudinov. Grad-TTS: A Diffusion Probabilistic Model for Text-to-Speech. In ICML, 2021.
[3] Jinglin Liu, Chengxi Li, Yi Ren, Feiyang Chen, and Zhou Zhao. DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism. In AAAI, 2022.
[4] Sang-gil Lee, Heeseung Kim, Chaehun Shin, Xu Tan, Chang Liu, Qi Meng, Tao Qin, Wei Chen, Sungroh Yoon, and Tie-Yan Liu. PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Dependent Adaptive Prior. In ICLR, 2022.
[5] Rongjie Huang, Zhou Zhao, Huadai Liu, Jinglin Liu, Chenye Cui, and Yi Ren. ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech. In ACM Multimedia, 2022.
[6] Zhen Ye, Wei Xue, Xu Tan, Jie Chen, Qifeng Liu, and Yike Guo. CoMoSpeech: One-Step Speech and Singing Voice Synthesis via Consistency Model. In ACM Multimedia, 2023.
[7] Zehua Chen, Yihan Wu, Yichong Leng, Jiawei Chen, Haohe Liu, Xu Tan, Yang Cui, Ke Wang, Lei He, Sheng Zhao, Jiang Bian, and Danilo P. Mandic. ResGrad: Residual Denoising Diffusion Probabilistic Models for Text to Speech. arXiv preprint arXiv:2212.14518, 2022.
[8] Yuyang Shi, Valentin De Bortoli, Andrew Campbell, and Arnaud Doucet. Diffusion Schrödinger Bridge Matching. In NeurIPS 2023.
[9] Guan-Horng Liu, Arash Vahdat, De-An Huang, Evangelos A. Theodorou, Weili Nie, and Anima Anandkumar. I2SB: Image-to-Image Schrödinger Bridge. In ICML, 2023.
[10] Yaron Lipman, Ricky T. Q. Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. Flow Matching for Generative Modeling. In ICLR, 2023.
[11] Kaiwen Zheng, Cheng Lu, Jianfei Chen, and Jun Zhu. Improved Techniques for Maximum Likelihood Estimation for Diffusion ODEs. In ICML, 2023.
[12] Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li, and Jun Zhu. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps. In NeurIPS, 2022.
[13] Kaiwen Zheng, Cheng Lu, Jianfei Chen, and Jun Zhu. DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model Statistics. In NeurIPS, 2023.