HOPE-Net:图论模型
对于Hand-Object姿势估计
巴蒂亚DoostiMajid Mirbagheri, Shujon那霸,大卫•克兰德尔
Hand-object姿势估计(希望)旨在联合检测两个手的姿势和举行的对象。在本文中,我们提出一种轻量级模型叫做HOPE-Net联合估计的手,在2 d和3 d对象构成实时。我们的网络使用两个自适应图像卷积神经网络的级联,一个估计2 d坐标手关节和对象的角落,紧随其后的是另一个2 d坐标转换成3 d。我们的实验表明,通过端到端的全网络的训练,我们取得更好的精度为2 d和3 d坐标估计问题。途径提出的2 d到3 d图模型可以应用于其他3 d具有里程碑意义的检测问题,在可以预测2 d要点然后转换3 d。
Hand-Object姿势估计(希望)的目标是共同估计的姿势的手,一个处理对象。HOPE-Net模型可以估计2 d和3 d的手和对象提出了实时,赋予了一项单一的形象。
论文和演讲
助理条目:
@inproceedings {handobject2020cvpr,
title = {HOPE-Net:基于模型Hand-Object姿势估计},
作者={巴蒂亚Doosti Shujon那霸和Majid Mirbagheri和大卫•克兰德尔},
年= {2020},
booktitle = {IEEE计算机视觉与模式识别会议(CVPR)}
}
体系结构
HOPE-Net的架构。始于ResNet模型作为预测的图像编码器和最初的2 d坐标
关节和对象的顶点。坐标连接的图像特征作为特征输入图3分层图卷积使用邻居的力量特性来估计更好的2 d构成。最后2 d坐标在前一步预测被传递给我们的自适应图像U-Net找到手和物体的3 d坐标。
自适应的原理图U-Net架构,用于估计3 d坐标从2 d坐标。在池的每一层,我们大致的节点数量削减一半,而在每个unpooling层,我们图中节点的数目的两倍。图像中的红色箭头是跳过层特性传递到译码器与未共享的连接特性。
下载
例子视频
确认
这项工作是由美国国家科学基金会(职业iis - 1253549)和IU副教务长办公室的研究,艺术与科学学院,信息学院、计算、工程通过新兴领域的研究项目“机器学习:大脑,孩子。”