数据驱动的方法使用卷积神经网络的复合图分离

作者:Satoshi Tsutsui大卫•克兰德尔

文摘

自动分析和理解的一个关键问题的科学论文从分文本论文中提取语义信息的组件(比如数据,图,表,等。本研究总是需要一个预处理的第一步:分解成单个subfigures复合多部分数据。以前的工作在图分离化合物一直是基于手工设计特性和分离规则,经常失败的不太常见的图类型和布局。此外,没有实现复合图分解是公开的。

提出了一种数据驱动的方法分离化合物的数据使用现代深卷积神经网络(cnn)训练分离器在一个端到端的方式。cnn消除手动设计特性和分离规则的需要,但需要大量的注释的训练数据。我们克服这一挑战使用转移学习以及自动合成训练范例。我们评估技术在ImageCLEF医疗数据集,实现85.9%的准确率和优于手工设计以前的技术。我们提供一个易于使用的Python库生成的方法,旨在促进进一步的研究在科学图挖掘。

资源

Github代码和pre-trained模型:https://github.com/apple2373/figure-separator
——图分离器易于使用!
——论文的预印:https://arxiv.org/abs/1703.05105
——引用:如果你使用图分离器研究或发现它有用,请考虑引用:
@inproceedings {figure-separate,
title ={{数据驱动方法使用卷积神经网络的复合图分离}},
作者= {Satoshi Tsutsui,大卫Crandall},
booktitle = {{IAPR国际会议文档分析和识别(ICDAR)}},
年= {2017}
}

例子


IU计算机视觉实验室的项目和活动资金,部分赠款和合同由美国空军科学研究办公室(AFOSR),国防威胁降低局(DTRA) Dzyne技术,EgoVid, Inc .)、电子通信、Facebook、Google、均富LLP IARPA,印第安纳创新研究所(IN3), IU数据洞察力中心,印第安那大学副教务长办公室通过一个新兴的研究领域为研究格兰特,印第安那大学的社会科学研究,礼来养老,NASA,美国国家科学基金会(iis - 1253549, cns - 1834899, cns - 1408730, bc - 1842817, cns - 1744748, iis - 1257141, iis - 1852294),英伟达,ObjectVideo,海军研究办公室(ONR), Pixm, Inc .)和美国海军。本文所包含的观点和结论是作者和不应被解释为一定代表官方政策或支持,表示或暗示,美国政府或任何赞助商。

Baidu
map