新!图像特征用来发现本地化属性可用!
我们建议的模型局部语义的视觉属性。属性是由机器能被探测到的视觉概念,理解人类,在类别和共享。他们尤其用于细粒度领域类别是密切相关的另一个(例如鸟类识别)。在这样的场景中,相关的属性往往当地(例如“白肚”),但如何选择这些地方的问题属性基本上仍是无人涉足。在这个项目中,我们提出一个交互式的方法,发现当地的属性这两个歧视和语义上有意义的图像数据集注释只与细粒度的分类标签和对象边界框。我们的方法使用一个潜在的条件随机场模型检测发现候选属性和歧视,然后雇佣了一个推荐系统,选择属性可能在语义上有意义。人机交互是用来提供语义发现属性的名称。
图1所示。样本本地和语义上有意义的属性自动由我们的方法发现的。用户在进程中提供的属性的名称。
方法
我们寻找一个活跃的分裂作为两个最相似的类使用属性发现到目前为止。对于每一次这样的活动,我们本地属性使用模型潜在的条件随机场。
在每个迭代中,我们的方法自动生成K使用潜在候选人CRF模型,重视的属性可能会通过推荐系统的语义。候选人然后呈现给人类受试者,他们要么接受它(即语义上有意义的)或拒绝它。用户反馈用于更新推荐系统。
图2。左:我们反复发现本地属性从一个给定的图像数据集。正确的:我们使用推荐系统测量属性的空间一致性候选对象。
结果
我们证明我们的方法在两个具有挑战性的细粒度图像数据集,Caltech-UCSD鸟- 200 - 2011(宝宝)和利兹蝴蝶(磅)。
发现当地的属性。
点击在这里看到一个画廊的样本发现本地数据集属性的幼崽。
点击在这里看到一个画廊的样本发现本地数据集属性磅。
Image-to-text代。
点击在这里看到一个画廊幼崽数据集样本图像的注释结果。大多数的图像看不见的鸟的类别。
属性的影像分类。
我们发现我们发现属性比那些由传统方法生成。
图3。图像分类四个数据集和支持向量机性能和最近邻分类器(nn)和使用四个不同属性的发现策略。
图4。分类的性能提出了系统在使用和不使用推荐系统。
论文和演讲
助理条目:
@inproceedings {attributes2012cvpr,
作者={库恩段,井斜帕里克说,大卫•克兰德尔和克里斯汀好莱坞},
标题={发现细粒度的本地化属性识别},
booktitle = {IEEE计算机视觉与模式识别会议(CVPR)},
年= {2012}
}
下载
新!我们释放用于发现局部图像特征属性数据集200年鸟。
读这并点击在这里下载。
确认
我们感激地承认以下的支持:
 |
 |
 |
 |
| 国家科学 基金会 |
礼来养老 | 国际单位数据洞察力中心 | 卢斯基金会 |