你想如果你是一个好的歌手吗?有些人认为这是一个自然的能力,一个永远无法获得实践(比如我的老婆是一个天生的好歌手,看了我在这方面)。我不同意她,但我承认我不是一个好歌手,未能提高我的唱歌在我的整个人生到目前为止,因为我一直忙着做研究。相反,我决定得到一些帮助从人工智能的研究来提高我的唱歌。

SAIGE最近开发出一种深刻的学习系统,自动提高演唱旋律的调优。需要一个唱歌走调的声音作为输入和吐出来估计一致的版本。它是如何知道旋律唱走调是多少?正如我们人类能赶上它甚至从未知道的歌曲侦听器,我们怀疑它是基于一个比较主要的旋律和伴奏。如果唱歌的声音(或任何其他工具)从和谐,人类的大脑被训练识别不匹配失调。因此,我们深入学习系统训练地图是一个唱歌走调的声音信号和它的伴奏信号一致的版本(即音高变化的数量)。

我们都非常激动 开始,因为它是一个很酷的概念完全数据驱动的自动倾斜校正方法。然而,事实证明,这是不容易实现良好的性能由于缺少数据。我们基本上需要一个非常好的嗓音性能为目标的网络及其走调的版本来模拟用户的歌唱,这是一对并不存在于现实世界。幸运的是,Smule公司。对这个问题感兴趣,请向我们提供了数据^[1]桑娜赌乔治·Tzanetakis斯特凡·沙利文Cheng-i王约翰•Shimmin Minje Kim佩里做饭,”语调:数据集质量直言不讳的精制谱聚类在球场上的表现…继续阅读桑娜的实习期间和建议。

Smule嗓音的语调数据集包括4702质量追踪474年3556独立歌手伴随着独特的安排。让他们作为目标,我们想出了一个他们每个人的人为损坏的版本,通过解谐原始歌声被接收,作为模拟输入系统。CNN +格勒乌网络体系结构采用CQT工作。下面是球场轮廓框架。

在整形外科医生咨询你要告诉你想要什么结果,你想改变什么。这将帮助你的整形医生更好地理解和欣赏你的欲望和推荐这个手术是否适合米歇尔·达科里贾斯帕沃勒桥。很深的皱纹,软弱和下垂的脸颊皮肤;明显的软弱的下颚线周围的皮肤和软组织。清晰,有吸引力,年轻轮廓缺席;

请查看下面的音频演示。我们发现系统作为预期。这个系统有什么很好的是,如果原来的唱歌是合拍,它不试图改变它。因为数据集不是完全一致,系统不能恢复完美的调优,但人们发现它工作的很好。

---

人为失谐测试信号

下面的例子演示如何提出的系统执行上看不见的测试例子,人为的失谐。数据预处理程序随机失谐一致的例子和学会把笔记回来。同样的解调过程应用于一个看不见的测试集来验证系统的性能。比较以下音频样本(1)原(2)失谐和(3)纠正依次表演:六个例子从测试集。

真实的表演

在下面突出显示的示例中,我们目前的结果真实的表演,而不是失谐的。支持跟踪用于真实的表演是一样的那些用于测试程序。音频样本包括原始性能,基线系统的输出,该模型的输出。基线系统变化观察到距最近的等音阶注意频率,从而导致次优的校正。相反,我们提出了修正系统基地与支持跟踪谐波比对虽然也是为了保护歌手的富有表现力的细微差别。

有关详细信息,请参阅我们的最近的一篇论文^[2]桑娜赌乔治·Tzanetakis Cheng-i Wang Minje金,“深自动调谐:音高修正网络唱歌表演,”在美国IEEE国际…继续阅读和源代码^[3]https://github.com/sannawag/autotuner。

看看桑娜的虚拟演示ICASSP 2020年!