击败扩散模型，清华朱军团队基于薛定谔桥的新语音合成系统来了（薛定谔讲演录）

2023-12-24,

近日，由清华大学计算机系朱军教授课题组发布的基于薛定谔桥的语音合成系统 [1]，凭借其 「数据到数据」的生成范式，在样本质量和采样速度两方面，均击败了扩散模型的 「噪声到数据」范式。

论文链接：https://arxiv.org/abs/2312.03491

项目网站：https://bridge-tts.github.io/ 

代码实现：https://github.com/thu-ml/Bridge-TTS

问题背景

自 2021 年起，扩散模型（diffusion models）开始成为文本到语音合成（text-to-speech, TTS）领域的核心生成方法之一，如华为诺亚方舟实验室提出的 Grad-TTS [2]、浙江大学提出的 DiffSinger [3] 等方法均实现了较高的生成质量。此后，又有众多研究工作有效提升了扩散模型的采样速度，如通过先验优化 [2,3,4]、模型蒸馏 [5,6]、残差预测 [7] 等方法。然而，如此项研究所示，由于扩散模型受限于「噪声到数据」的生成范式，其先验分布对生成目标提供的信息始终较为有限，对条件信息无法利用充分。

本次语音合成领域的最新研究工作，Bridge-TTS，凭借其基于薛定谔桥的生成框架，实现了「数据到数据」的生成过程，首次将语音合成的先验信息由噪声修改为干净数据，由分布修改为确定性表征。

该方法的主要架构如上图所示，输入文本首先经由文本编码器提取出生成目标（mel-spectrogram, 梅尔谱）的隐空间表征。此后，与扩散模型将此信息并入噪声分布或用作条件信息不同，Bridge-TTS 的方法支持直接将其作为先验信息，并支持通过随机或确定性采样的方式，高质量、快速地生成目标。

工作成果

在验证语音合成质量的标准数据集 LJ-Speech 上，研究团队将 Bridge-TTS 与 9 项高质量的语音合成系统和扩散模型的加速采样方法进行了对比。如下所示，该方法在样本质量上（1000 步、50 步采样）击败了基于扩散模型的高质量 TTS 系统 [2,3,7]，并在采样速度上，在无需任何后处理如额外模型蒸馏的条件下，超过了众多加速方法，如残差预测、渐进式蒸馏、以及最新的一致性蒸馏等工作 [5,6,7]。

以下是 Bridge-TTS 与基于扩散模型方法的生成效果示例，更多生成样本对比可访问项目网站：https://bridge-tts.github.io/

1000 步合成效果对比

输入文本：「Printing, then, for our purpose, may be considered as the art of making books by means of movable types.」

真实样本,机器之心,7秒

Bridge-TTS-1000,机器之心,6秒

Grad-TTS-1000,机器之心,6秒

4 步合成效果对比

输入文本：「The first books were printed in black letter, i.e. the letter which was a Gothic development of the ancient Roman character，」

真实样本,机器之心,7秒

Bridge-TTS-4,机器之心,7秒

Fast Grad-TTS-4,机器之心,7秒

ResGrad-4,机器之心,6秒

 2 步合成效果对比

输入文本：「The prison population fluctuated a great deal,」

真实样本-2,机器之心,2秒

Bridge-TTS-2,机器之心,2秒

CoMoSpeech-2,机器之心,3秒

下面展示了 Bridge-TTS 一个在 2 步和 4 步的一个确定性合成（ODE sampling）案例。在 4 步合成中，该方法相较于扩散模型显著合成了更多样本细节，并没有噪声残留的问题。在 2 步合成中，该方法展示出了完全纯净的采样轨迹，并在每一步采样完善了更多的生成细节。

在频域中，更多的生成样本如下所示，在 1000 步合成中，该方法相较于扩散模型生成了更高质量的梅尔谱，当采样步数降到 50 步时，扩散模型已经牺牲了部分采样细节，而基于薛定谔桥的该方法仍然保持着高质量的生成效果。在 4 步和 2 步合成中，该方法不需蒸馏、多阶段训练、和对抗损失函数，仍然实现了高质量的生成效果。

在 1000 步合成中，Bridge-TTS与基于扩散模型的方法的梅尔谱对比

在 50 步合成中，Bridge-TTS与基于扩散模型的方法的梅尔谱对比

在 4 步合成中，Bridge-TTS与基于扩散模型的方法的梅尔谱对比

在 2 步合成中，Bridge-TTS与基于扩散模型的方法的梅尔谱对比

Bridge-TTS一经发布，凭借其在语音合成上新颖的设计与高质量的合成效果，在 Twitter 上引起了热烈关注，获得了百余次转发和数百次点赞，入选了 Huggingface 在 12.7 的 Daily Paper 并在当日获得了支持率第一名，同时在 LinkedIn、微博、知乎、小红书等多个国内外平台被关注与转发报道。

多个外文网站也进行了报道和讨论：

方法介绍

薛定谔桥（Schrodinger Bridge）是一类继扩散模型之后，近期新兴的深度生成模型，在图像生成、图像翻译等领域都有了初步应用 [8,9]。不同于扩散模型在数据和高斯噪声之间建立变换过程，薛定谔桥支持任意两个边界分布之间的转换。在 Bridge-TTS 的研究中，作者们提出了基于成对数据间薛定谔桥的语音合成框架，灵活支持着多种前向过程、预测目标、及采样过程。其方法概览如下图所示：

前向过程：此研究在强信息先验和生成目标之间搭建了一种完全可解的薛定谔桥，支持灵活的前向过程选择，如对称式噪声策略：、常数，和非对称噪声策略: 、线性，以及直接与扩散模型相对应的方差保持（VP）噪声策略。该方法发现在语音合成任务中非对称噪声策略：即线性（gmax）和 VP 过程，相较于对称式噪声策略有更好的生成效果。

模型训练：该方法保持了扩散模型训练过程的多个优点，如单阶段、单模型、和单损失函数等。并且其对比了多种模型参数化（Model parameterization）的方式，即网络训练目标的选择，包括噪声预测（Noise）、生成目标预测（Data）、和对应于扩散模型中流匹配技术 [10,11] 的速度预测（Velocity）等。文章发现以生成目标，即梅尔谱为网络预测目标时，可以取得相对更佳的生成效果。

采样过程：得益于该研究中薛定谔桥完全可解的形式，对薛定谔桥对应的前 - 后向 SDE 系统进行变换，作者们得到了 Bridge SDE 和 Bridge ODE 用于推断。同时，由于直接模拟 Bridge SDE/ODE 推断速度较慢，为加快采样，该研究借助了扩散模型中常用的指数积分器 [12,13]，给出了薛定谔桥的一阶 SDE 与 ODE 采样形式：

在 1 步采样时，其一阶 SDE 与 ODE 的采样形式共同退化为网络的单步预测。同时，它们与后验采样 / 扩散模型 DDIM 采样有着密切联系，文章在附录中给出了详细分析。文章也同时给出了薛定谔桥的二阶采样 SDE 与 ODE 采样算法。作者发现，在语音合成中，其生成质量与一阶采样过程类似。

在其他任务如语音增强、语音分离、语音编辑等先验信息同样较强的任务中，作者们期待此研究也会带来较大的应用价值。

作者简介

此项研究有三位共同第一作者：陈泽华，何冠德，郑凯文，均属于清华大学计算机系朱军课题组，文章通讯作者为朱军教授，微软亚洲研究院首席研究经理谭旭为项目合作者。

朱军教授

微软亚洲研究院首席研究经理谭旭

陈泽华是清华大学计算机系水木学者博士后，主要研究方向为概率生成模型，及其在语音、音效、生物电信号合成等方面的应用。曾在微软、京东、TikTok 等多家公司实习，在语音和机器学习领域重要国际会议 ICML/NeurIPS/ICASSP 等发表多篇论文。

何冠德是清华大学在读的三年级硕士生，主要研究方向是不确定性估计与生成模型，此前在 ICLR 等会议以第一作者身份发表论文。

郑凯文是清华大学在读的二年级硕士生，主要研究方向是深度生成模型的理论与算法，及其在图像、音频和 3D 生成中的应用。此前在 ICML/NeurIPS/CVPR 等顶级会议发表多篇论文，涉及了扩散模型中的流匹配和指数积分器等技术。

PS:本文来源：击败扩散模型，清华朱军团队基于薛定谔桥的新语音合成系统来了,语音,数据,人工智能,作者：机器之心