Mingze徐,Chenyou风扇,将尝试王,Michael s . Ryoo,大卫·j·克兰德尔

文摘

的世界里无处不在的摄像头,公共空间常常被相机捕获从多个角度的不同类型,固定和移动。的一个重要问题是组织这些异构集合视频找到它们之间的联系,如识别人们之间的通讯出现在视频和人民持有或戴着相机。在本文中,我们希望解决两个具体问题:(1)两个或两个以上的同步的第三人称的视频场景中,产生一个对每一个可见的人进行像素级分割和识别(即相应的人不同的看法。,determine who in camera A corresponds with whom in camera B), and (2) given one or more synchronized third-person videos as well as a first-person video taken by a mobile or wearable camera, segment and identify the camera wearer in the third-person videos. Unlike previous work which requires ground truth bounding boxes to estimate the correspondences, we perform person segmentation and identification jointly. We find that solving these two problems simultaneously is mutually beneficial, because better fine-grained segmentation allows us to better perform matching across views, and information from multiple views helps us perform more accurate segmentation. We evaluate our approach on two challenging datasets of interacting people captured from multiple wearable cameras, and show that our proposed method performs significantly better than the state-of-the-art on both person segmentation and identification.

有关详细信息,请参阅我们的大会2018年的论文。

海报和演示

下载

2018年8月- - - - - -PyTorch代码培训和pre-trained模型现在可以了!
2018年8月- - - - - -IU ShareView数据集进行像素级人注释现在可以了!

IU ShareView数据集由两个5 - 10分钟的第一人称9套视频。每组包含3 - 4参与者进行各种日常活动(握手,聊天,吃饭,等等)的六个室内环境。每个人在每一帧注释与地面真理边界框和一个独特的人ID。人分割评估我们的方法,我们手动增加数据集的一个子集进行像素级人注解,总共1277标签帧包含2654注释实例。

引用

@InProceedings {Xu_2018_ECCV,
title ={联合人分割和识别在同步的第一和第三人称视频},
作者={徐,Mingze和风扇,Chenyou王,尝试和Ryoo, Michael s .,克兰德尔David j .},
booktitle ={欧洲计算机视觉(大会)},
年= {2018}
}

确认

我们要感谢以下的支持:

国家科学 基金会