可伸缩性是一个大问题在视频编码。当你通过流媒体服务在周五晚上看电影,视频质量fluctuates-it视频编解码器的工作提供最大的视频质量,即使你的互联网连接患有间歇性的拥堵。这比等待缓冲,不是吗?

所以,可伸缩性是什么意思在源分离或语音增强的背景下(SE),特别是当系统涉及到复杂的机器学习模型?想象你在电话上和设备做一些积极的语音增强远程会话期间提高语音质量。但你的设备可能做别的除此之外,如直播视频捕捉的额相机。你知道吗?你的果汁…如果基于机器学习系统可伸缩的让它进入某种battery-saving模式吗?然后,你还可以享受一定程度的增强演讲时不用担心其他应用程序和电池。

一个幼稚的方法是准备几个不同版本的SE模型从系统选择最优考虑SE质量之间的权衡和模型的复杂性。

例如,如果系统有足够的资源和正在发生(即。没有多任务),天真的可伸缩的系统可以选择大SE模块,追求最佳性能。相反,该系统将归结为最小的模块时,决定保守的资源使用情况。

虽然这个基线系统可以提供所需的可伸缩性,它不是最好的使用的内存空间,因为它必须保留所有三个不同版本的模块。为简单起见,假设三个模块的大小是1、2和3 m参数。那么一共是6米。

BLOOM-Net是我们尝试流行masking-based源分离模型转化为一个可伸缩的版本。天真的方法相比,我们的目标是侵入神经网络架构和模块化拓扑。现在,我们能做的基于块处理和自适应地改变参与的块的数量取决于可用的系统资源。

它的工作原理是这样的:如果系统想要闪光模式,它使用的所有堆放弱SE模块和生产作为结果。如果其性能应该一样好天真的所示的“大”SE模块可伸缩的基线。最少的资源预算,BLOOM-Net会萎缩和只使用1块的输出应该一样好“小”模块在基线。

阴茎大小,BLOOM-Net显然是有利的。如果每个弱SE模块1 m参数,然后总如果有米、或3米这样的街区。这是一个巨大的储蓄如果系统想要准备各种资源条件,即。,如果很大。

因此,我们的第一个目标是在某种程度上拆卸的神经网络模型,基于块的方式运作。此外,我们还确保每一个中间结果一样好相应的独立的SE模块在天真的基线。为此,我们正在深入研究趋势(Conv-TasNet masking-based源分离模型^[1]y罗和n . Mesgarani“Conv-TasNet:超越理想的时频掩蔽级语音分离,“IEEE / ACM事务上音频,演讲,和语言的处理,27卷,…继续阅读,DPRNN^[2]罗y、z陈和t .吉冈,“双路径RNN:有效率——字母系数长序列建模时域单通道语音分离,“在Proc. IEEE国际会议上的…继续阅读,SepFormer^[3]C.Subakan、M.Ravanelli S.Cornell, M。Bronzi,药品等。钟,“关注所有你需要在演讲中分离,“Proc. IEEE国际会议音响,演讲,和信号…继续阅读等等)和重新设计他们的“分离器”部分转换成一个可扩展的版本。

对于那些需要更多的细节,更具体地说,分离器部分现在是一系列的块,每个试图改善前一块的残余。因为这个序列化的“残余学习”发生在特征空间,我们可以期待更好的性能和更紧凑的结构。它实际上比这更复杂的简化解释,所以我们鼓励读者查看我们的论文^[4]Sunwoo金和金Minje“BLOOM-Net:块屏蔽网络优化对可伸缩的和有效的语音增强,”在美国IEEE国际…继续阅读为更多的细节。总之,实际的框图如下:

系统实际上充当预期(如下图所示)。如果它选择只有几块(),SE性能仅仅是可以接受的但是价格适宜。它可以达到最好的性能()。

总而言之,我们认为这些BLOOM-Net的主要贡献是:

• 重新设计masking-based SE模型支持可伸缩的重排参与的街区
• 他们是紧凑的空间复杂度
• 对于任何的选择给最好的SE模型的结果,与同样大小的最先进的

防晒的缩写名称BLOOM-Net致力于我们的家乡,布卢明顿。

纸

更多细节请查看我们的论文:
Sunwoo金姆和Minje金。”BLOOM-Net:块屏蔽网络优化对可伸缩的和有效的语音增强,”的程序IEEE国际会议音响、演讲和信号处理(ICASSP),新加坡,2022年5月27日(pdf]。

源代码

在这里我们也开源项目:https://github.com/kimsunwiub/BLOOM-Net

ICASSP 2022个虚拟演示

这种材料是基于工作支持下由美国国家科学基金会资助的数字1909509和2046963。任何意见、发现和结论或建议在这种材料中表达作者的,不一定反映美国国家科学基金会的观点。