为广大介绍个性化语音增强(PSE),请阅读这篇文章:个性化的语音增强。

介绍

之间的基本区别专家概念用于PSE和通用的语音增强系统(SE)是前想适应具体测试时间用户和他/她的声学环境。这种适应,在理论上是可行的,建立一个优化的任务,使用大量的培训对输入和目标:吵闹的演讲和干净的版本。

在实践中,它不是那么简单,因为它意味着系统必须从用户要求干洗的演讲录音后系统部署。原因有很多特定用户的纯净语音很难获得。例如,用户可能不希望分享他们干净的演讲与大型科技公司由于隐私问题。即使他们渴望这样做,他们可能缺乏的技能和设备来记录他们的清洁演讲:他们可能认为他们的记录是干净的,但它可能不够清洁作为优化目标。

从系统的角度来看,用户的测试时间嘈杂的言论相对丰富,清洁的演讲。但是,吵闹的语音数据是无用的从机器学习的角度来看,除非我们知道相应的清洁演讲。那么我们应该做些什么呢?

数据净化

在这项工作中,我们提出了一个数据净化概念,探讨了嘈杂的话语,找出那部分不够干净。然后,什么?我们只关注那些估计清洁区域作为目标进行PSE培训。这是基于这样一个前提,即所谓的话语并不总是吵了吵了演讲。

为此,我们训练有素的演讲质量估计量。短周期的时间,如果演讲远胜过交际来源,然后必须高信噪比的值。语音质量估计基本上听信号,如果信号的数据是否干净。分数范围从来在零的情况时,语言和交际来源同样响亮。例如,在上面的图中,我们可以看到,语音信号有一些软周围27000样本,测度技术组件在哪里是一个主要来源。中间的图,我们可以看到相应的真实信噪比的值非常低。我们可以看到,我们的演讲质量估计,格勒乌网络,可以相当准确地估计信噪比的值(紫色的线为值)。

伪SE: Self-Supervised学习过程

使用这个信噪比预测,我们选择性地使用这些嘈杂的话语self-supervised学习(SSL)。因为SSL是充分利用未标记数据的使用,这对应于嘈杂的演讲在我们的案例中,它意味着我们会想出一个借口任务,可以训练SE模型真实不知道干净的演讲。为此,我们定义我们伪SE任务,利用噪声语音和数据净化的过程。

首先,我们假设测试用户的干净的演讲尚不清楚。相反,我们可以获得它的嘈杂的版本,这是用户的言论受到未知的噪声源,也就是说,。从现在开始,伪SE过程将考虑预混合物演讲作为伪目标的演讲。我们添加额外的噪音伪演讲形成最终的混合输入。现在我们训练一个SE模型,是如果是一个干净的演讲目标。

而伪SE方法本身应该在某种程度上为借口的任务,这是一个合法的SSL的方法,因为它不需要任何清洁演讲。然而,对于帧被未知的预混合物噪声严重污染了(绿色的波形在上图中),伪SE的有效性过程并不能保证,因为它学会估计噪声语音而不是干净的语音。

本文的主要论点是,这个伪SE-based SSL过程可以提高通过协调数据净化的概念。当我们训练伪SE函数同样的治疗,而不是所有地区,我们可以将更多的注意力放在最初清洁领域的活动是最小的,而是活跃的。再一次,这不是一种知识系统,这就是为什么我们需要估计语音质量。然后,当我们计算时域取样损失伪SE训练期间,我们可以应用权重导致信噪比预测和忽略的样本可能是已经预混合物噪音污染的来源。你知道,损失基本上是基于估计伪源之间的差异和伪源。然后,我们可以写,

在哪里表示连续取样重量计算信噪比的预测。例如,如果太吵了,损失计算的样本并不可靠。在这种情况下,信噪比预测会说的信噪比很低,所以是什么相应地,。这样,伪SE借口任务可以使用纯净数据超过了不太可靠的语音信号。

实验结果

我们的结果表明,伪SE本身(蓝色的盒子)不是有意义因为它依赖于嘈杂的演讲作为伪目标。除非伪目标恰好足够干净,它不能与一个多面手模型训练从任意训练扬声器和噪声集(黑盒)。我们建议的数据净化(DP)过程可以大大提高噪声语音数据的质量和导致显著的性能改进(紫色的盒子)。像往常一样,在小模型改进的性能意味着个性化作为模型压缩工具。

这篇论文

欲知详情,请查看我们Interspeech 2021纸^[1]Aswin Sivaraman Sunwoo金正日,Minje金,“个性化语音增强通过Self-Supervised数据扩充和净化,”在《年度…继续阅读。

一个简短的概述说话

源代码

https://github.com/IU-SAIGE/pse-snr-informed

这种材料是基于工作由美国国家科学基金会支持下批准号2046963。任何意见、发现和结论或建议用这种材料的作者(年代),不一定反映美国国家科学基金会的观点。