为广大介绍个性化语音增强(PSE),请阅读这篇文章:个性化的语音增强。

我们的梦想是开发一个通用的语音增强系统,可以处理所有不同种类的腐败和变异语音信号可以通过:speaker-specific特点,混响,干扰噪声、相声、带通滤波、剪切等。我们知道,假设通用语音增强系统可能是一个巨大的深神经网络(款)与一个复杂的网络结构。但是,如果很容易训练更小和更简单的系统(如浅而窄款),它是专门用于去除只有一个类型的工件?如果一些这样的系统已经可用,最好的结果是其中与我们想要从假设的普遍的语音增强系统?如果有一个方法,可以选择最好的候选人的专业系统的模型,我们可以把它们建立通用的语音增强系统。

这种方法是有益的在很多意义上在特定条件下。首先,我们可以重用这些受良好训练款作为我们的模块而不是训练通用巨大从头款。如果参与模块是款简单的网络拓扑结构和更容易训练,我们可以构建所需的通用语音增强系统更容易、更快捷。其次,该方法更具有可伸缩性。如果提出系统需要处理一种新近观察到的腐败,我们可以快速学习新模块专门训练的例子,并将其添加到池的候选人。

这项工作的主要目的是设计一个主持人,他们的工作是选择最好的一个看不见的测试模块混合物。虽然可能这份工作可以由一个分类器^[1]Aswin Sivaraman Minje金,“稀疏的混合物的当地专家有效的语音增强,“年度研讨会论文集国际言语交际…继续阅读^[2]Aswin Sivaraman Minje金,“Zero-Shot个性化语音增强通过Speaker-Informed模型选择、“IEEE研讨会上的应用程序的信号…继续阅读,我们把另一个路径。主要原因是歧视的分类器不是很可伸缩的新例子。相反,我们训练一个AutoEncoder (AE)只使用纯语音谱。作为AE的训练目标是输入和输出之间的误差最小化,我们训练使用的AE清洁演讲应该生产清洁演讲清洁输入语言。我们使用这个AE重建误差的测量来评估质量的特定于模块的中间语音增强的结果。的基本思想是:(a)我们喂养中间模块输出的演讲 AE,和检查他们的AE重建误差(b)我们选择创建至少AE的错误,因为它将最相似的一个干净的演讲(根据AE的定义)。

这个模型的性能选择机制是伟大的。AE非常成功地选择最佳的模块(注意,它处理测试信号真实没有任何目标)。我们称之为一个协作深度学习语音增强,语音增强我们可以协调任何款,如果它的工作就是预测重整演讲。看看下面的音频例子当顶部AE使最好的选择相比,最坏的可能选择。

看看我们ICASSP 2017论文协作深度学习^[3]Minje金”,合作深度学习语音增强:运行时使用Autoencoders模型选择方法,“在IEEE国际会议上声学学报》,…继续阅读为更多的细节。

有一些缺点在拟议的系统。首先,它必须运行所有专家模型比较,而classifier-based系统可以运行分类器先找出哪些专家使用。但是,依赖一个标识符限制系统预定义的范围问题的细分。所以有利弊。更多关于classifier-based系统,看看我们对稀疏的当地专家的论文^[4]Aswin Sivaraman Minje金,“稀疏的混合物的当地专家有效的语音增强,“年度研讨会论文集国际言语交际…继续阅读^[5]Aswin Sivaraman Minje金,“Zero-Shot个性化语音增强通过Speaker-Informed模型选择、“IEEE研讨会上的应用程序的信号…继续阅读。