语音/音频编码历来涉及大量的特定领域的知识,例如语音生成模型。如果你还没有听说过这个概念,别担心,因为你可能会在日常生活中使用这一技术,例如,当你在电话上,使用你的移动设备听音乐,看电视,等。音频编码的目的是对输入信号进行压缩的比特流,是谁的比特率,当然,小于输入,然后能够恢复原始信号的代码。重构信号应感知类似图片的原始。

我们一直在想如果有一个数据驱动的替代传统的程序员。别误会我虽然我们的目标是提高编码效率与深度学习的帮助,虽然我们可能需要保留一些有用的技术从传统的DSP技术。我们只是好奇深上优于方法我们能走多远。

我们最初的想法很简单:一个bottleneck-looking autoencoder将做这项工作,因为它将减少维度在代码层。最重要的是,降维并不能保证大量的 压缩 , 如果每个维度应该过多位代表。必须的代码二进制。一个反例的情况下隐藏的数量单位(或特性)在代码层大于输入,而编码增益可能仍然很高因为每个特性是由只有一个编码。换句话说,编码器autoencoder已生成的一部分的关键功能,而不是常规的实值的。二进制特征复杂化反向传播由于离散性的微分性质,但这并没有什么大不了的一部分,由于现有的解决这个问题,如softmax量化^[1]斯里赫里Kankanahalli”与深层神经网络的端到端优化语音编码。“2018年IEEE国际会议音响、演讲和信号处理(ICASSP), 2018年。

原来我们成为雇佣一个端到端框架,一个1 d-cnn时域样本作为输入并产生相同的。没有多层螺旋ct或滤波器。我们爱它,因为它不涉及任何复杂的窗口技术及其频率响应,大量overlap-and-add,自适应窗口处理瞬态时间等。

我们主要观察在这个项目中是连接多个模型 是 重要的。但如何?我们借了一个想法从旧学校的信号处理,剩余的编码。我知道它已经恢复在ResNet架构中,在层间身份的捷径,而神经网络层建模的残留层的输出和输入。在我们的系统中,残余编码实现级联神经网络中,。这意味着我们的编码系统由多个autoencoders顺序连接到每一种第一个在恢复最好的输入,但它也创造了一个残余信号,即。输入-输出,因为它不是完美的。然后,残余信号是美联储第二autoencoder收回剩余的第一个尽可能多。再一次,因为第二个是不完美的,它创造了自己的残余信号,由第三个照顾。等等。下面的图显示了添加更多的改善音质autoencoding模块:

我知道这是一个更复杂的比我之前解释说因为原来天真地学习一个新的autoencoder残余编码不是最好的方式太贪婪。例如,如果一个autoencoder螺丝,下一个被所有的负担,而代码的大小线性增长。所以,除了贪婪的方法,这仅仅是我们的初始化,我们雇佣了一个整合的步骤,提高了总autoencoding所有模块做的质量 backprop在所有模块。我们称之为提出系统跨模块剩余学习(CMRL)。下面是级联的整体架构autoencoders残余编码:

对我们来说更有趣的是,事实证明,在线性预测编码(LPC)块帮助知觉品质很多。因为我们看到LPC分析作为一种传统的autoencoding,这只是另一个模块,像第0个模块,在我们的级联结构!

需要注意的另一件事是,我们太在乎模型复杂性当我们设计推理的系统在测试期间(包括编码和解码)不太复杂的小内存占用。与其他编解码器看到左边的比较:

请查看我们的论文^[2]Jongmo唱凯镇,Mi Suk Lee Seungkwon Beack, Minje金,“级联跨模块剩余学习对轻量级的端到端语音编码、”在《年度…继续阅读关于这个项目的更多细节。

---

我们发现CMRL有趣和多才多艺。然而,这也证明,其性能low-bitrates并不令人信服,而它能够超越AMR-WB高比特率。为了弥补这一点,我们进一步深入研究了LPC的模块。我们最初认为我们可以用神经网络代替LPC的模块,但我们要小心,因为它已经显示出其价值几十年。

相反,我们进行了量化可训练的一部分。当LPC残差信号仍然由我们CMRL块,LPC系数可能是量子化的更仔细地不仅仅是采用AMR-WB的标准。我们想要动态地分配比特LPC分析模块和CMRL autoencoders,因为必须有LPC系数的情况比NN-based autoencoders,反之亦然。然而,传统LPC的量化给一个固定的2.4 kbps比特率。

我们的协作量子化(CQ)这个问题方法方法采用LPC的块可学的量化方案。否则,系统与CMRL大致遵循相同的论点:LPC的跟着一群序列化残余编码块。

我们必须实现LPC的让它运行Tensorflow根据Kai)(这是有点痛苦。无论如何,现在我们可以量化LPC系数和其他神经网络,一些任务可以动态地完成。

请查看我们的论文和代码的更多细节^[3]Jongmo Kai甄,Mi Suk Lee Sung Seungkwon Beack, Minje金,“高效、可伸缩的神经残余波形与协作的量化编码,“在学报…继续阅读。拟议的CQ技术在低比特率情况下成功地提高了性能。

~ 9 kbps(女)参考
~ 9 kbps AMR-WB(女)
~ 9 kbps(女)作品
~ 9 kbps CMRL(女)
~ 9 kbps CQ(女)
~ 9 kbps(男性)参考
~ 9 kbps AMR-WB(男性)
~ 9 kbps(男性)作品
~ 9 kbps CMRL(男性)
~ 9 kbps CQ(男性)
~ 24 kbps(女)参考
~ 24 kbps AMR-WB(女)
~ 24 kbps(女)作品
~ 24 kbps CMRL(女)
~ 24 kbps CQ(女)
~ 24 kbps(男性)参考
~ 24 kbps AMR-WB(男性)
~ 24 kbps(男性)的作品
~ 24 kbps CMRL(男性)
~ 24 kbps CQ(男性)

---