音乐源的空间形象是一个重要的功能在立体声音乐的聆听体验。一个极端的例子是“黄色潜水艇”的披头士,所有的人声是完全右边通道由于某种原因。但是,大多数时候,人声主要有立体的中心,这是信息有用声音源分离^[1]崔Keunwoo Minje Kim Seungkwon Beack, Kyeongok Kang”高斯混合模型从立体声音乐,歌声分离”的程序音频工程学会…继续阅读。有时在实况录音、空间位置的乐器可以映射到实际位置(如来源的阶段这种情况下)。

所以,我们一直在思考如何使用这个空间信息在音乐源分离。天真的方法可以假定利息的来源是与一个固定的位置在整个歌曲的声音源分离情况下,但我们知道它并不总是工作。相反,我们制定作为一个的问题通知源分离的任务^[2]a . Liutkus J.-L。Durrieu、l . Daudet和g·理查德,“通知音频源分离的概述,”国际研讨会在图像分析多媒体交互式服务…继续阅读源分离系统,受益于辅助源的空间位置信息。然后,剩下的问题是“从哪里得到的信息?”

在这里,我们假设用户可能想要与这个源分离过程中,他们都渴望做得更好源分离所以他们仔细听音乐,为系统提供一些指导,从哪个方向集中于提取来源。这种类型的互动源分离并不是一个新想法。例如,用户可以被要求上写这首歌的2 d图像表示。光谱图)中提取出感兴趣的来源^[3]http://isse.sourceforge.net。这一次,我们关注的焦点空间信息音乐源分离,我们的名字SpaIn-Net。

在图中,例如,用户识别的位置感兴趣的两个来源,吉他,钢琴,并使这些信息的神经网络音乐源分离系统。深度学习模式,当然,系统可以被训练去做一定程度的音乐源分离没有这些额外的信息,但我们的观点是,性能会更好的方向性信息。一个好的例子就是否则混淆工具定位有两种不同的音响领域(例如,两个节奏吉他左和右通道,分别)。

用户交互的部分给出了一个独特的触摸到我们的项目:尽管使用源分离空间信息一直探索在文献中相当广泛^[4]z陈et al。”,多渠道重叠语音识别与定位引导语音提取网络,“在IEEE口语技术研讨会(SLT), 2018年。,我们调查的健壮性SpaIn-Net当用户输入不准确地指向源在故意让一些错误的方向。

基于先进的音乐源分离系统之一,Open-Unmix + CrossNet (XUMX)^[5]r . Sawata s Uhlich s高桥,y Mitsufuji,“人人为我,我为人人:改善音乐通过桥接网络分离,“Proc.国际社会对音乐…继续阅读,我们探索了各种调节机制从简单的连接位置编码和AdaIN。我们阐述合成Slakh数据集上的实验^[6]http://www.slakh.com验证空间通知音乐源分离是一个有效的概念,即使用户的输入是不准确的。

声音的例子

在这个相当具有挑战性的例子有两个吉他,我们可以看到,从基线系统恢复吉他1和2 (XUMX系统没有空间调节)有些相似,展示基线的混乱。另一方面,吉他分离结果从该SpaIN-Net明显更好。

更多细节请找到我们的论文^[7]大流士彼得曼和Minje金正日SpaIn-Net: Spatially-Informed立体声音乐源分离”,在IEEE国际会议上声学学报》,演讲,和…继续阅读。我们也开源项目^[8]https://github.com/darius522/spain-net。

纸

大流士彼得曼,Minje金。”SpaIn-Net: Spatially-Informed立体声音乐源分离,”的程序IEEE国际会议音响、演讲和信号处理(ICASSP),新加坡,2022年5月27日(pdf,代码]

源代码

https://github.com/darius522/spain-net

ICASSP 2022个虚拟演示