集结你的录音工作。

在众包等,项目旨在提高录音的音频质量的场景,如音乐会、谈判,讲座,等等,通过分离出唯一有趣的来源来自多个低质量的用户创建的记录。这可能被视为一个挑战麦克风阵列设置不同步的渠道,用独特的方式叛逃,不同的采样率。

我们通过使用一个扩展的概率主题模型实现分离,使共享一些主题(来源)录音。换句话说,我们常见的矩阵分解为每个记录,但是修复的一些来源是相同的(与不同的全局权重)在所有录音同时分解。

我们可以得到更好的分离从一些合成音乐会录音比甲骨文矩阵分解结果与理想基地pre-learned从地面真理清洁记录。看看我们对这个项目的获奖论文^[1]Minje金和巴黎Smaragdis”协同音频增强使用概率潜在组件共享”,在IEEE国际会议上声学学报》,演讲,和…继续阅读。

1000年录音

在这个项目的第二阶段,我们扩大了我们的实验的案例涉及更多的麦克风(1000年现场传感器的蓝点上图)。现在的目标是提取主要来源(满钻石中间的图片)的1000录音。如果这个工作是手工完成,1000有人听所有的录音,并挑出最好的一个基于他或她的感知质量评估,这是一个乏味的,困难和昂贵的工作要做。选择将结果从最好的,最糟糕的记录。注意,在最糟糕的记录,记录别人的声音大声而不是利益的主要来源。

再一次,我们想要使用一个扩展的概率主题模型的分离,使共享一些主题(来源)录音。然而,这个过程需要大量的计算在所有1000种不同的录音在每一个更新。首先,它不是非常高效的特别是如果有太多的录音处理(我们讨论一个特别的麦克风阵列传感器的潜在数量多达的人数在人群中)。第二,大部分的录音远离感兴趣的主要来源或有严重的工件不有助于重建感兴趣的来源。因此,注意那些遥远的/低质量的录音是浪费计算。

我们的想法来绕过这计算复杂性问题是关注最近的邻居在每一个新兴市场,而不是整体。在上面的图中,我们可以看到主题建模可以找到类似的凸壳(绿色多胞形包装数据点)我们是否有这些实证过程中样本数据。实际上,我们相信的是,关注当前主题的邻居(角落多面体)会给我们不仅加速,但更好的结果,否则M-step花很多时间提取出少量的贡献与实证观察。

最近邻搜索可以花很多时间。如果我们这样做搜索以详尽的方式,基于一个适当的距离度量,如归一化幅度谱图之间的交叉熵录音和重建的来源,搜索将引入的开销降低加速。相反,我们可以搜索基于汉明距离计算哈希码的这些声音,因为计算汉明距离可以以更便宜的方式完成通过使用位操作。如果我们发现3 k伪邻居对汉明距离首先,然后进行穷举搜索只有3 k的候选人而不是整个,我们可以构造k近邻集合在一个快速的方式。

事实上,当我们做他们更新只有在那些K-neighbors K的一个适当的选择(5记录的总数的20%,蓝色、红色和橙色线在“交叉熵”的情况下),我们可以得到更好的分离性能比完整的组件共享主题模型(图中绿线)。第一个实验是与交叉熵的距离测量(更具体地说,散度测量)。下一个“哈希”情况下显示提出两阶段过程中,我们发现3 k使用散列在第一轮候选人的邻居,然后缩小到实际的邻居使用交叉熵在第二轮。除了5%的打嗝情况(蓝线),我们使用了少量的录音,我们可以说两阶段方法给一样良好的性能全面的搜索与交叉熵。

看看他们如何听起来!

请查看我们的文件关于这个项目^[2]Minje Kim和巴黎Smaragdis“有效于社区的主题建模对大规模协作的音频增强众包录音,”在美国IEEE国际…继续阅读

※这种材料、基于工作支持下由美国国家科学基金会资助:三世:小:MicSynth:加强和重建声音场景众包录音。奖号:1319708

任何意见、发现和结论或建议用这种材料的作者(年代),不一定反映美国国家科学基金会的观点