每天,世界各地数以百万计的人拍照并上传至社交媒体网站。他们的目标是与朋友分享照片,但它们共同创造巨大的存储库的视觉信息的世界。每张照片的观察世界如何看一个特定的时间点和空间。聚合在一起,这些照片可以提供新的观测数据来源用于学科像生物学、地球科学、社会科学或历史。这个项目正在调查所需的算法和技术挖掘这些海量照片和嘈杂的元数据来推断物质世界。项目有四个研究目标:(1)调查技术识别和纠正噪声在元数据,如行程和时间戳,(2)开发算法从图像中提取语义信息和元数据,(3)创建健壮的聚合方法从多个照片,嘈杂的证据(4)验证跨学科应用这些技术在生物学、社会学、和地球科学。
这个项目是由国家科学基金会资助事业奖,“职业:观察世界通过社交媒体的镜头,“iis - 1253549,3/1/2013-2/28/2020。
人
- 大卫•克兰德尔印第雷竞技官方网站下载安纳大学,
当前的学生:
- Shujan是个那霸,计算机科学博士学位的学生
- Satoshi Tsutsui信息学博士学位的学生
- Jingya王、计算机科学博士学位的学生
- 紫香,计算机科学硕士学生
- Ishtiak扎曼,计算机科学博士学位的学生
- Zehua张、计算机科学博士学位的学生
校友:
- 都赞同大都会博物馆斯文班巴奇博士(2016),现在全国儿童医院的研究科学家
- 丹尼斯·陈,2014年夏天活参与者从奥林学院,现在在谷歌
- 德米特里•科尔曼,2015年夏天活参与者从奥本大学,现在在密歇根州立大学博士生
- 库恩段博士(2014),现在在Quibi
- Chenyou风扇博士(2019),现在在谷歌
- Tayla Frizell, 2015年夏天活参与者来自密西西比河谷州立大学
- Gustavo Goncalves, 2014年夏天拉迪拉德大学的参与者
- 伊曼纽尔Klutse,夏天活参与者从Tougaloo学院
- 穆罕默德Korayem博士(2015),现在在凯业必达
- Stefan Lee博士(2016),现在俄勒冈州立大学助理教授
- 艾伦•卢夏天活参与者从伊利诺斯
- 本杰明·纽曼,计算机科学和认知科学的“狗屁”2016年,卡内基梅隆大学博士生
- 伊桑•彼得森2017年夏天从Rose-Hulman活参与者,现在启动smileML
- 杰拉尔德·皮夏天活迪堡的参与者
- Ramya Rao硕士(2018),现在在亚马逊
- 泰勒Rarick, 2017年夏天从Rose-Hulman活的参与者
- 亚历克斯Seewald 2014年夏天活参与者从厄勒姆学院
- 约书亚Sherfield, 2013年夏天活参与者来自诺福克州立大学
- 现在阿里Varamesh KU鲁汶
- 迪伦ven, 2017年夏天从Rose-Hulman活的参与者
- Mingze许博士(2020),现在在亚马逊
- Haipeng张博士(2014),现在上海理工大学
合作者:
出版物
下列出版物都直接关系到这个项目:
- 诺姆·莱文,萨利姆·阿里,大卫克兰德尔Salit卡克,“世界遗产在危险:大数据和遥感可以帮助保护冲突地区的网站,“全球环境变化,2019年。(影响因子= 6.371)
- 健胃,Zhile任、徐Mingze Xinlei陈,大卫•克兰德尔Devi帕里克说,Dhruv Batria,”体现视觉识别:学习移动变形知觉”,IEEE计算机视觉国际会议(ICCV),2019年。(海报,录取率25.0%)[PDF]
- 苏珊娜门泽尔,凯蒂Siek大卫•克兰德尔。”你好研究!开发一个密集的研究经验为本科女性”,ACM技术研讨会上计算机科学教育(SIGCSE),2019年。(口服,录取率34%)[PDF](项目页面)
- 巴蒂亚Doosti Jangwon Lee, Yupeng Gu,大卫Cartledge,大卫•克兰德尔克里斯托弗·拉斐尔。”观察钢琴家精度和计算机视觉形式”,IEEE的冬季会议上应用计算机视觉(WACV),2019年。(海报+口服,录取率39%)[PDF]
- 于姚明,Mingze徐、王将尝试大卫•克兰德尔埃拉阿特金斯。”在第一人称的视频中无监督交通事故检测”,IEEE国际会议上智能机器人和系统(——),2019年。(口服,录取率45.0%)[PDF]
- Mingze Xu Mingfei高,Yi-Ting陈,大卫•克兰德尔,”拉里•戴维斯检测时间周期性网络在线行动”,IEEE计算机视觉国际会议(ICCV),2019年。(海报,录取率25.0%)[PDF]
- Md Alimoor Reza,阿卡什奈克,凯,大卫•克兰德尔”自动标注的语义分割室内场景”,IEEE国际会议上智能机器人和系统(——),2019年。(口服,录取率45.0%)[PDF]
- Zehua张,陈昱,大卫•克兰德尔”自我验证网络对象级估计人类的关注”,神经信息处理系统(NeurIPS)的进步,2019年。(海报,录取率21.6%)[PDF](项目页面)
- Satoshi Tsutsui Yanwei傅,大卫•克兰德尔”Meta-Reinforced合成数据只有一次的细粒度的视觉识别”,神经信息处理系统(NeurIPS)的进步,2019年。(海报,录取率21.6%)[PDF](项目页面)
- 诺姆·莱文,萨利姆·阿里,大卫克兰德尔。”利用遥感和大数据量化强度冲突:“阿拉伯之春”作为一个案例研究”,应用地理,2018年。(影响因子= 2.56)[PDF]
- 张Chenyou粉丝,Zehua,大卫•克兰德尔Deepdiary:生活实录图像字幕和总结,“杂志的视觉传达和形象代表,2018年。(影响因子= 2.164)(项目页面)
- 都赞同大都会博物馆斯文班巴奇,琳达·史密斯大卫•克兰德尔Chen Yu”Toddler-Inspired视觉对象学习”,神经信息处理系统(NeurIPS)的进步,2018年。(海报,录取率20.8%)[PDF]
- 都赞同大都会博物馆Satoshi Tsutsui斯文班巴奇,陈昱,”大卫•克兰德尔估计头部运动从自我中心的愿景”,ACM国际会议上多通道交互(ICMI),2018年。[PDF]
- Mingze Xu Chenyou风扇,将尝试,迈克尔•Ryoo大卫•克兰德尔”联合人分割和识别在第一和第三人称视频同步”,欧洲计算机视觉(大会),2018年。(海报)[PDF](项目页面)
- 都赞同大都会博物馆Zehua张斯文班巴奇,陈昱,”大卫•克兰德尔从粗注意到细粒度的目光:一个两阶段的3 d完全卷积网络预测眼睛凝视在第一个视频”,英国机器视觉会议(BMVC),2018年。(口服,录取率4.3%)[PDF](项目页面)
- Ashwin Vijayakumar迈克尔·Cogswell Ramprasaath Selvaraju,清太阳,斯蒂芬李,大卫•克兰德尔Dhruv巴特拉,”不同波束搜索提高复杂场景的描述”,AAAI会议上人工智能,2018年。(海报,录取率24.6%)[PDF]
- Mingze Xu Chenyou粉丝,约翰•派登杰弗里·福克斯,大卫•克兰德尔”多任务时空的神经网络结构的表面重建”,IEEE的冬季会议上应用计算机视觉(WACV),2018年。(40%录取率)[PDF]
- 林Hsien-Chang Bo-chiuan Chen Dong-Chul Seo,大卫•克兰德尔”框架评估睡眠时间从数字足迹,”BMJ创新,2018年。(影响因子= 2.899)
- 埃曼Hassan Rakibul哈桑,帕特里克·谢弗大卫•克兰德尔Apu Kapadia”漫画的增强的隐私生活实录和流媒体视频”,IEEE计算机视觉与模式识别会议研讨会计算机视觉对隐私和安全挑战和机遇(CVPR CV-COPS),2017年。[PDF]
- Mingze徐大卫•克兰德尔杰弗里·福克斯,约翰派登,“从雷达图像自动估计的冰底表面”,IEEE国际会议上图像处理(ICIP),2017年。(口服,录取率45.0%)[PDF]
- 都赞同大都会博物馆斯文班巴奇Zehua张,陈昱,”大卫•克兰德尔探索inter-observer第一人称对象视图使用深度学习模型的差异”,IEEE计算机视觉国际会议上车间相互认知和计算机视觉的好处,2017年。[PDF]
- 温家宝陈,大卫•克兰德尔诺曼·苏。”理解网站的美学发展:对概念设计阶段”,人机工程的会议上因素计算系统(气),2017年。(口服,录取率25.0%)[PDF]
- Chenyou粉丝,Jangwon Lee Mingze Xu Krishna Kumar辛格勇李杰从前大卫•克兰德尔Michael Ryoo,“在第三人称的视频中识别第一人称相机使用者”,IEEE计算机视觉与模式识别会议(CVPR),2017年。(海报,录取率29.0%)[PDF](项目页面)
- 都赞同大都会博物馆斯文班巴奇,琳达·史密斯大卫•克兰德尔Chen Yu”主动视觉上以自我为中心的角度和视觉对象在幼儿学习”,IEEE国际会议上发展和学习和表观遗传机器人(ICDL),2017年。(口服,录取率37.1%)[PDF]
- 巴蒂亚Doosti大卫•克兰德尔诺曼Makoto苏。”深入研究网页设计的历史”,ACM国际网络科学会议(WebSci),2017年。(口服,录取率35.3%)[PDF](项目页面)
- Satoshi Tsutsui大卫•克兰德尔。”数据驱动的方法使用卷积神经网络的复合图分离”,IAPR国际会议文档分析和识别(ICDAR),2017年。[PDF](项目页面)
- 斯科特•沃克曼Menghua翟大卫•克兰德尔Nathan雅各布斯。”附近的一个统一的模型和遥感”,IEEE计算机视觉国际会议(ICCV),2017年。(海报,录取率28%)[PDF](项目页面)
- 穆罕默德Korayem Jingya Wang,扫罗布兰科,大卫•克兰德尔”通过社会媒体和计算机视觉跟踪自然事件”,ACM国际会议多媒体(毫米)2016年。[PDF](项目页面)
- 斯蒂芬。李,Senthil Purushwalkam迈克尔·Cogswell Viresh Ranjan)大卫•克兰德尔Dhruv巴特拉,”随机选择题学习培训多样化的集合体”,神经信息处理系统(NeurIPS)的进步,2016年。(海报,录取率22.7%)[PDF]
- 都赞同大都会博物馆斯文班巴奇,琳达·史密斯,陈昱,”大卫•克兰德尔对象的中心:婴儿的身体如何限制婴儿的场景”,IEEE国际会议上发展和学习和表观遗传机器人(ICDL),2016年。最佳论文奖。(口服,录取率33.7%)最佳论文奖![PDF]
- Tousif Ahmed,帕特里克·谢弗凯康奈利,大卫•克兰德尔Apu Kapadia”解决物理安全、安全性和隐私有视觉障碍的人”,USENIX适用的隐私与安全研讨会”(汤),2016年。(口服,录取率27.8%)[PDF]
- 都赞同大都会博物馆斯文班巴奇,琳达·史密斯大卫•克兰德尔Chen Yu”积极查看幼儿促进视觉对象学习:一个自我中心视力的方法”,认知科学协会的年会(认知科学),2016年。(口服,录取率34%)[PDF]
- 穆罕默德Korayem罗伯特•Templeman丹尼斯·陈,大卫•克兰德尔Apu Kapadia”提高生活实录隐私通过检测屏幕”,人机工程的会议上因素计算系统(气),2016年。鼓励奖奖。(注意,录取率23.4%)鼓励奖奖
- 卡克诺姆·莱文,Salit大卫•克兰德尔。”人都到哪里去了?加强全球保护使用之光和社交媒体”,生态应用程序,2015年。(影响因子= 4.126)[PDF]
- 斯蒂芬。李,张Haipeng,大卫克兰德尔。”预测Geo-informative属性使用卷积神经网络在大规模图像集合”,IEEE的冬季会议上应用计算机视觉(WACV),2015年。(口头和海报,录取率36.7%)[PDF](项目页面)
- Tousif艾哈迈德·罗伯托•霍伊尔凯康奈利,大卫•克兰德尔Apu Kapadia”隐私问题和行为有视觉障碍的人”,人机工程的会议上因素计算系统(气),2015年。(论文全文,录取率23%)[PDF]
- 罗伯特·霍伊尔,罗伯特•Templeman丹尼斯安东尼,大卫•克兰德尔Apu Kapadia”敏感的生活记录:照片可穿戴的隐私分析相机”,人机工程的会议上因素计算系统(气),2015年。(气)[PDF]
- 斯蒂芬·李,尼古拉•Maisonneuve大卫•克兰德尔约瑟夫•Sivic阿列克谢•埃”链接过去的报告:发现在两个世纪的建筑风格”,IEEE国际会议上计算摄影(组成),2015年。(口服,录取率24%)[PDF](项目页面)
- 都赞同大都会博物馆斯文班巴奇,陈昱,”大卫•克兰德尔视点集成Hand-Based识别社会交往的第一人称视角”,ACM国际会议上多通道交互(ICMI),2015年。(海报,录取率41%)[PDF]
- 都赞同大都会博物馆斯文班巴奇,斯蒂芬李,陈昱,”大卫•克兰德尔贷款的手:检测手和识别在复杂的以自我为中心的交互活动”,IEEE计算机视觉国际会议(ICCV),2015年。(海报,录取率30.3%)[PDF](项目页面)
- 斯蒂芬。李,杰罗姆·米切尔,杰弗里·福克斯,”大卫•克兰德尔估计基岩和冰盖表层边界和置信区间雷达图像使用密度”,IEEE国际会议上图像处理(ICIP),2014年。(口服,录取率44%)[PDF](项目页面)
- 罗伯特·霍伊尔,罗伯特•Templeman史蒂文著丹尼斯安东尼,大卫•克兰德尔Apu Kapadia”隐私的行为gordanbell使用可穿戴的相机”,ACM国际联合会议上普遍的和无处不在的计算(主要),2014年。(口服,录取率20.7%)[PDF]
- 都赞同大都会博物馆斯文班巴奇,约翰Franchak大卫•克兰德尔Chen Yu”检测在儿童自我中心的观点来理解体现在社会互动的关注”,认知科学协会的年会(认知科学),2014年。(口服,录取率41.0%)[PDF]
- 库恩段大卫•克兰德尔Dhruv巴特拉。”多通道学习在组织松散的Web图片”,IEEE计算机视觉与模式识别会议(CVPR),2014年。(海报,录取率29.9%)[PDF]
- 库恩段,卢卡Marchesotti大卫•克兰德尔。”支持向量机车辆识别与约束的多个实例”,IEEE的冬季会议上应用计算机视觉(WACV),2014年。(口头和海报,录取率40%)[PDF]
- 罗伯特•Templeman穆罕默德Korayem大卫•克兰德尔Apu Kapadia”PlaceAvoider:转向第一人称相机远离敏感的空间”,网络和分布式系统安全座谈会(nds),2014年。(口服,录取率18.6%)[PDF]
- 都赞同大都会博物馆斯文班巴奇,陈昱,”大卫•克兰德尔理解体现在亲子互动视觉注意力”,IEEE国际会议上发展和学习和表观遗传机器人(ICDL),2013年。(口服,录取率33%)[PDF]
- 大卫•克兰德尔安德鲁•欧文斯诺亚Snavely,丹尼尔Huttenlocher。”与磁流变液SfM:离散连续优化大型结构的运动”,IEEE模式分析与机器智能(PAMI),2013年。(影响因子= 4.795)[PDF](项目页面)
- 穆罕默德Korayem Jingya Wang,大卫•克兰德尔”观察自然世界和Flickr”,计算机视觉国际会议研讨会计算机视觉融合的角度,2013年。最佳论文奖。(口语)最佳论文奖![PDF]
- Haipeng张穆罕默德Korayem大卫•克兰德尔格雷琴LeBuhn。”矿业照片分享网站来研究生态现象”,国际万维网(WWW)会议上,2012年。(口服,录取率12%)[PDF](项目页面)
一个我们实验室的完整列表的出版物也可用。
课程和教育材料
到目前为止,π提供了有关这个项目的五门课程。我们这里提供课堂讲稿和其他材料,希望他们可能对别人有用。
-
- 概率方法来人工智能(CS B553, 2013年春季)。
不确定性是日常生活中的一个事实,造成部分不完整,嘈杂的观察,不完美的模型和(明显的)社会和物理世界的非确定性。(在某些情况下大多数)最近的工作在一系列计算学科(包括人工智能、机器人、计算机视觉、自然语言处理、数据挖掘、信息检索,生物信息学,等等)已经使用概率框架来显式地解决这种不确定性。本课程将介绍统计、数学和计算这些框架的基础,主要侧重于一个受欢迎的和非常广泛的框架,叫做概率图形模型。我们还将覆盖优化和概率论的相关话题。我们将研究这些技术在一系列AI的应用学科,可能偏向于计算机视觉,将鼓励学生选择最后一个项目,与自己的研究兴趣。
- 概率方法来人工智能(CS B553, 2013年春季)。
-
- 搜索信息(信息I427, 2013年秋季,2014年秋季,秋季2015)。
网络搜索不仅是最热门的领域之一,但它也成为我们社会的一个组成部分。例如,在十年的时间跨度谷歌已经从一个小型的学术研究项目由两个研究生成为14世界上最大的上市公司,市值接近2000亿美元,其搜索引擎的访问量近34000 / *第二*。谷歌是如何搜索虽然一万亿多页,返回一个结果在几分之一秒查询?如何找到新的网页,人们创建它们吗?它是如何决定如何排名页面返回吗?如何选择,谷歌吗
使我们生活的方方面面产生影响?网络搜索的未来是什么?本课程研究谷歌、雅虎和必应“引擎盖下”的工作。学生掌握技术和工具来自动爬行、解析、索引、存储和搜索网络信息,组织知识可以帮助满足组织的需求,社区和个人用户。我们还讨论社会、安全性和搜索引擎技术的业务影响。作为一个项目,学生们构建一个功能的搜索引擎和比较它与谷歌或雅虎。在这个过程中,学生们学习如何破解Perl的Web应用程序。
- 搜索信息(信息I427, 2013年秋季,2014年秋季,秋季2015)。
-
- 信息学研究方法为本科生(信息I399, 2013)。
本课程的目的是向学生介绍科学研究、专门领域的信息。课程将介绍重要的概念、方法和技术进行研究,包括确定研究问题,进行文献回顾,设计调查和实验,进行统计分析,管理团队项目,使用协作工具,通过论文和报告结果向公众,海报,和视频。课程还将向学生介绍各种研究领域信息学、信息科学和计算机科学。类会议将包括讲座、嘉宾发言,讨论和活动,小组工作时间。类是一项历时一学期的团队研究项目,围绕学生经过各个阶段的研究从定义一个具体的研究问题向公众报告结果。每个团队将被分配一个研究生导师将作为顾问协助团队在整个课程的研究项目。团队需要提交的交付物在整个学期的课程,包括:(1)项目建议书和报告,(2)项目中期评估报告和演示,和(3)最后一个项目报告,演讲,海报和视频。请检查出完成项目的画廊!
- 信息学研究方法为本科生(信息I399, 2013)。
-
- 计算机视觉(CS B657, 2014年春季,2016,2017,2018,2019)。这是一个介绍性的研究生课程,广泛地介绍了计算机视觉领域。课程涵盖了视觉,通过最新的从基本的信号处理方法等关键问题识别、立体和跟踪。课程也进化到更注重深度学习和机器学习在一般情况下,由于这些是大多数学生和社区的核心利益。课程围绕4有挑战性,开放式的编程项目,和最后一个工程实践,学生们完成一个研究项目的选择和现在的在一个公共的海报。一个画廊从这个类的项目是可用的。
- 人工智能的元素(CS B551, 2015年秋季和2016年,2017年春季,2018年秋季)。这是一个研究生课程,涵盖了人工智能原理和尖端技术在机器学习、概率推理,深度学习和应用程序包括计算机视觉和自然语言处理。除了住宅部分,B551π开发了一个新版本的在线数据科学的学生,包括重新设计讲座,项目和活动的在线格式。新版本功能视频讲座组织在5 - 10分钟片段,由短期活动,试图复制一个面对面的积极学习课堂环境。
视频
海报和幻灯片
下载和演示
- IU ShareView从多个同步,数据交互的人第一和第三人称的相机。
- EgoHands,以自我为中心的大规模数据集的视频互动的人,包括带注释的细粒度分割地图。
- 一个互动演示我们的项目架构元素发现从大规模的街景图片的集合。
- 看到我们的从运动项目页面离散连续大规模结构优化下载源代码和数据三维重建的论文。
- 训练有素的CNN对象模型检测私人生活实录图像可在我们的内容ScreenAvoider项目页面。
- 我们的源代码冰盖layer-finding代码。
更广泛的影响
使用可视化的项目奠定了基础的社交媒体作为一种新的观测数据来源各种各样的科学学科。教育组件准备下一代的学生“大数据”工作通过新的本科和研究生课程和在线教学材料。本科生(特别是弱势群体)招募参与研究项目,鼓励追求科学的事业。一年一度的研讨会计划教育一般观众,尤其是老年人,对数据挖掘和社交媒体。源代码、数据集、课程材料和其他项目的结果将通过本网站向公众传播。
推广和传播的例子进行的活动组织或π包括:
- 的AI演讲系列新周刊研讨会主题相关的计算机视觉,人工智能,机器学习,数据挖掘,以及其他broadly-related地区。谈判的视频在网络上公开,加强的研讨会。
- 的1日国际研讨会在社交网络上对环境和生态监测在2016年与ICWSM举行。
- 的第二届国际研讨会在社交网络上对环境和生态监测在2017年与WebSci举行。
- 的第三国际研讨会在社交网络环境和生态监测在2018年与ICWSM举行。
- 谈判和研讨会IU迷你大学一个夏天返回校友和社区成员的教育项目。
奖励和新闻
-
- 我们的论文通过Flickr观察自然世界获得最佳IEEE计算机视觉国际会议论文车间对计算机视觉融合的观点。
-
- 我们的论文这是我的手:概率方法的手消歧在自我中心的视频获得最佳论文在IEEE国际计算机视觉与模式识别会议EgoVision车间。
- 我们的工作在雪地上发现了简短的文章《新科学家》和CACM。
- 我们的工作生活实录隐私了麻省理工学院技术评论,快速公司(和再一次),声称杂志。
- 我们的论文“提高生活实录隐私通过检测屏幕”获得了荣誉奖奖2016年气。
- 我们的论文“对象的中心:婴儿的身体限制婴儿场景”获得最佳论文ICDL-EpiRob 2016。
- 请参阅我们的实验室在媒体上页面更多的文章和采访。
接触点
有关更多信息,请联系π大卫•克兰德尔。
确认
这种材料是基于工作支持下由美国国家科学基金会资助。1253549。任何意见、发现和结论或建议用这种材料的作者(年代),不一定反映美国国家科学基金会的观点。
最后更新:2020年7月13日晚上22:00点