为广大介绍个性化语音增强(PSE),请阅读这篇文章:个性化的语音增强。

稀疏的当地专家(Interspeech 2020)

的一种方法有效地解决语音增强(SE)是细分过于大SE问题分解成更小的子问题。SE的问题确实是一个非常大的概念:一个适当的SE系统预计将处理各种测试时间不知道在训练条件,如扬声器的特点,独特的室内声学,独特的干扰来源,等等。这是一个具有挑战性的泛化问题,呼吁大模型训练数据,这是一个设置被推广。问题是,你知道,我们不喜欢大模型SAIGE在小型设备,因为他们不工作。

在SE社区的是如果有一个当地的专家这是专门训练来解决原始问题的一个子集,那么我们应该试试吧^[1]和j·m·Kolbæk z h . Tan Jensen”语音清晰度的潜力一般和专业深度的基于神经网络的语音增强系统,“IEEE / ACM事务上音频,…继续阅读。例如,“如果我们知道测试扬声器是一个男”和“如果有一个专家模型训练只使用男性演讲者,”专家模型更有可能实现更好的性能比gender-agnostic多面手模型(后两个有类似的模型的能力)。换句话说,这也是当两种模型实现相同级别的SE性能、专家模型可能较小,因此更有效率。

在这个论点是一个警告,系统必须知道它属于专家测试信号。我们如何做呢?嗯,这是一个简单的分类问题!如果我们预定义子问题提前,我们可以训练海尔集团分类器,这很简单。分类问题本身并不太容易,因为它是嘈杂的信号,而不是干净的演讲,但非常可行的。

流程是这样的。吵闹的语音信号首先是美联储的分类器,我们称之为控制模块大会后,著名的当地专家(标定)框架的混合物^[2]r·a·雅各布斯约旦,s . j·诺兰和g·e·辛顿,“自适应当地专家的混合物,神经计算,3卷,不。1,第87 - 79页,1991年3月。。作为一个分类器,它可以产生将softmax预定义的概率当然,专家,系统选择概率最高的专业。这个选择的过程是非常重要的和别人的区别我们的系统:系统激活一个唯一的选择专家和运行推理工作,而传统的企业架构及其SE改编的凸组合所有专家使用的概率值作为权重的输出。同样的,我们的稀疏的合奏,因为这样我们可以大大减少运行时的复杂性。例如,概述图中的阴影部分专家从未用于输入信号。

我们所提出的系统测试在两个不同的组策略基于性别和吵闹,也称为信噪比(信噪比)。对于后者,我们将训练集划分为四个不同的类别有不同信噪比水平:5(很吵),0、5、10(轻微噪声条件)。

结果是令人兴奋的。从图(左),我们看到橙色的虚线几乎总是在吗绿线,也就是说,平均而言,该模型的专业作品比多面手模型具有相同的大小。然而,控制模块,或分类器,不是做出完美的决定,这就是为什么橙色的虚线低于蓝线,结果从oracle模型的“完美”分类器总是做出正确的决定。正确的图增强了我们分析:没有大的差距提出模型和oracle模型,因为,这一次,这是一个很简单的二元分类问题和控制模块的性能是近乎完美的。

是怎样的粉红色的虚线吗?这是有趣的。首先,我们认为完美的分类是一个神话,因为,例如,可能会有一个男性演讲者的间距足够高以适应一级SE模型优于男性。此外,它可能不是最好的方式使用专家如果我们必须pre-train他们从每个子群和冻结它。相反,我们可以调整专家,这样他们学习最优SE专家考虑的错误控制模块。你知道吗?我们还可以调整分类器通过通知最终SE的损失,以便它可以更高级的决定,超越中间分类的目标。这种微调步骤并不简单,因为它涉及到分化“argmax”操作,这并不是完全可微。但是,我们工作通过使用一些技巧。最终,正如图表所显示的,超越了最后的调整结果甲骨文性能!

注意,我们认为该算法zero-shot学习个性化,因为在测试期间不使用任何清洁完成目标说话人语音的数据或知识的测试环境。

这篇论文

欲知详情,请看看我们的论文^[3]Aswin Sivaraman Minje金,“稀疏的混合物的当地专家有效的语音增强,“年度研讨会论文集国际言语交际…继续阅读。

演讲视频

下面我们Interspeech虚拟演示是可用的。

声音的例子

我们还将展示一些音频例子。这里的重点是,我们提出的专家网络,虽然不那么复杂(512 X 2),可以与大通才(1024 X 3)。

示例# 1

例# 2

源代码

https://github.com/IU-SAIGE/sparse_mle

---

Speaker-Informed PSE (WASPAA 2021)

我们承认我们有滥用这个词个性化到目前为止,随着模型适应算法我们提出不是本质上的“人”,虽然最终适应必须考虑所有的测试时间环境。不管怎样,Interspeech纸^[4]Aswin Sivaraman Minje金,“稀疏的混合物的当地专家有效的语音增强,“年度研讨会论文集国际言语交际…继续阅读没有考虑对演讲者的身份。

然而,它不是简单的利用为PSE演讲者的信息。首先,它可能是没有意义的雇佣太多的专家,因为这将涉及一群从未使用专家系统中。因此,尽管我们可以收集很多训练者,这不是一个好主意准备专家/扬声器。相反,我们需要以某种方式组演讲者为可控数量的集群。

为此,我们首先训练暹罗网络^[5]盖恩,j·布罗姆利,即y LeCun (e . Sä盛泰,r·沙阿,”签名验证使用“暹罗“延时神经网络——工作,”神经信息处理系统的进步…继续阅读这样它预测类似的嵌入输入嘈杂的话语,从相同的演讲者,反之亦然。这些嵌入的,我们最初的k - means聚类,找出执行子组。这里的假设是,演讲者,属于同一集群可能分享相似的语音特点。

有趣的的结果是聚类算法发现自然群策略基于性别,尽管聚类过程并不了解这类信息。结果不直观,因为图不显示如果演讲者在同一个集群确实声音相似。我们将继续使用这些聚类结果pre-train专家和控制模块。

再一次,结果是令人兴奋的。我们可以看到,所有整体模型不同优于基线相同的模型复杂性(专家)。我们也看到,微调提高总体系统性能。一个重要黑圆圈点之间的比较是:在黄线只使用170 k参数,而equally-performing基准模型(黑线)约20倍(3.4 m参数)。

总而言之,尽管模型不是基于一个定义良好的组策略,一个无监督聚类方法很好的学习有效的子组,这导致一个有效的和紧凑的PSE。

这篇论文

看看我们WASPAA 2021年的论文为更多的细节^[6]Aswin Sivaraman Minje金,“Zero-Shot个性化语音增强通过Speaker-Informed模型选择、“IEEE研讨会上的应用程序的信号…继续阅读。

演讲视频

下面我们Interspeech虚拟演示是可用的。

※这里讨论的材料、在一定程度上是基于工作支持下由美国国家科学基金会奖#:2046963。任何意见、发现和结论或建议用这种材料的作者(年代),不一定反映美国国家科学基金会的观点。