(2022下载Interspeech教程幻灯片)

优秀的现代人工智能的发展很大程度上依赖于改进的建模能力。深度学习模型,例如,有效地扩大它的一个非常复杂的映射函数逼近能力。因此,如果有一个足够大,stongly-labeled,实际可用的训练数据集(好运!),终于可以实现一个人工智能模型,可以解决实际问题。

当我们完全理解深度学习的进步,我们也想分享我们的思想对这些大型模型从大型数据集训练。有技术和社会问题在此设置中,最终导致我们关于AI的伦理问题。一些例子:

• 先进的人工智能模型只能在一个昂贵的工业开发设置,恶化公众的AI系统的可访问性^[1]d·斯卡利加里·霍尔特,丹尼尔·戈洛文,尤金·达维多夫,托德菲利普斯,迪特马尔it Vinay Chaudhary,迈克尔年轻,让克雷斯波,丹高秤。2015。技术债务隐藏在机器…继续阅读。这可能意味着必要数量的计算资源和基础设施是不负担得起的学术环境中或在欠发达经济体。
• 此外,培训一个非常大的深层神经网络不环保。例如,训练一个大模型在大电脑需要大量的电力^[2]Strubell E。Ganesh,。,& McCallum, A. (2020). Energy and Policy Considerations for Modern Deep Learning Research. Proceedings of the AAAI Conference on Artificial …继续阅读。
• 更重要的是,大型模型可以不工作在测试时间与弱势社会群体。现代人工智能的自然用疯狂往往涉及少代表但容易收集通用数据集的训练。数据收集、处理和注释的昂贵的部分发展中一个人工智能系统,常见的做法是收集尽可能多的数据样本,然后雇佣人类注释器标签。因此,它很容易忽视这些大型数据集的社会影响,直到最近。例如,从大型数据集训练往往导致偏差模型,这并不总是概括一个看不见的测试环境。例如,一个弱势社会群体患有退化性能,如人脸识别系统,识别有色人种女性主体的性别与错误率比浅肤色男性高出35倍^[3]Buolamwini, j . & Gebru T . .(2018)。性别:阴影交点的精度差异在商业性别分类。学报第一会议上公平、责任和…继续阅读。事实证明,这是由于种族或性别不平等躺在大的训练数据集。

我们的个性化语音增强(PSE)研究技术解决了这个问题通过改善不完美的训练有素的通用模型的性能为一个特定的用户。通过个性化的AI在个人设备运行。除了上面提到的社会影响,有一个效率普通的深度学习方法问题。为了使深模型工作对于大多数测试时间的变化,我们需要训练大模型从一个大数据。即使我们能负担得起的成本培训这样一个模型,将它部署到一个小装置是一个不同的问题,因为大的模型不适合小型设备。内的冗余大的模型来自这样一个事实:他们是为了覆盖各种各样的测试时间用户环境。作为一种替代方法,个性化毫升聚焦于一个特定的用户是狭义的问题。例如,相比一个通用的语音增强问题,试图解决“所有”测试环境,目标的个性化问题的通用问题的一个很小的子集。

发展个性化算法,最小化的关键挑战是个人数据的使用,因为(a)个人数据经常被视为私人信息(b)他们只能收集设备部署后,即,在测试期间的时间。即使用户对隐私问题和分享他们的好干净的演讲,有时是具有挑战性的记录一个人的清洁和干燥演讲由于技术问题:也许是房间太瑞博和一些风扇噪音而用户”认为“这是安静。可能记录齿轮也不够好。

我们正在做一些个性化的语音增强算法。现在我们专注于算法适应测试环境要求零或者是几从用户尽可能的清洁记录。子项目的名单如下:

• 稀疏的当地专家的混合物:对于一个给定的测试信号,系统首先问一个小分类器(即。,a gating module) which sub-problem the test sample belongs to, and then runs the local expert specifically trained to solve that sub-problem. We found that this kind of approaches can result in a better performance and reduce model complexity. Since the system does not require any additional clean speech from the users, but just works with the noisy test speech, this can resolve the data efficiency issues as well. For more details, audio demos, and source codes, check out the project page在这里。
• 知识蒸馏:再一次,系统不需要任何清洁来自用户的言论。但是,这一次,它要求一个非常大的“老师”网络(例如,在云)语音增强执行先进的水平。然后,设备上的小的学生模型整合本身通过向老师学习模型的结果。不同于当地专家的混合方法测试时间适应发生的地方通过选择最好的本地专家,知识蒸馏的方法做随着时间的推移更新学生模型。你知道吗?通过这种方式,学生模型有时会超过老师!更多细节,音频演示和源代码,查看项目页面在这里。
• Self-supervised学习和数据净化:PSE的问题被定义为一个self-supervised学习任务。基于的假设测试时间用户的嘈杂的演讲并不总是吵闹,该数据净化算法发现清洁时间框架和使用他们,仿佛他们是干净的演讲目标。通过这种方式,我们可以制定一个优化的任务更纯的语音帧的伪目标。注意,这种方法属于一类self-supervised学习,我们不需要清洁演讲目标用户的测试时间。更多细节,音频演示和源代码,查看项目页面在这里。

这种材料是基于工作由美国国家科学基金会支持下批准号2046963。任何意见、发现和结论或建议用这种材料的作者(年代),不一定反映美国国家科学基金会的观点。