神经Upmixing通过转让方式

标题

Upmixing通过风格转移:一个变分Autoencoder理清空间图像和音乐内容

作者

Haici杨,桑娜打赌,斯宾塞·罗素,迈克罗Minje金正日,Wontak金姆

文摘

音乐,在stereo-to-multichannel upmixing问题的一个主要任务是设定仪器的方向性来源的多通道渲染结果。在本文中,我们提出一种改进的变分autoencoder模型学习潜在的空间来描述空间图像在多通道音乐。我们寻求解决空间图片和音乐内容,所以学会了潜变量是不变的音乐。在测试时间,我们使用的变量来控制平移的来源。我们提出两个upmixing用例:转移空间图像从一个首歌到另一个基于生成模型和盲目的平移。我们报告客观和主观评价结果经验表明,我们的模型捕捉空间图像分别从音乐内容和达到transfer-based互动平移。

声音的例子

链接到OneDrive文件夹
它包含两个子文件夹,“盲目upmix”和“upmix转移。“每个wav文件剩下五频道的顺序,正确的,中心,后离开,后面吧,需要映射到适当的扬声器,例如,通过使用音频处理。我们建议的标准5.1通道环绕系统回放。或者,您可以逐个检查每个不同的频道。

ICASSP 2022个虚拟演示