的网络拓扑测量和地图

在这个项目中我们研究不同类型的网络拓扑之间的关系例如基于超链接,话说,和页面的含义,以及它们是如何影响排名和爬行算法的性能,如InfoSpiders。本研究扩展了以前的工作(见论文)我们有效自治的必要条件等任何分布式超文本数据库浏览网页的相关性自相关测量。

最近我们使用蛮力方法词汇之间的映射关系,链接,并在数十亿网页对语义相似度。照片中的数据立方体是一个图形表示页面的分布对三维相似。通过点击一个立方体的脸你会看到更详细的直方图映射投射到两个相似的轴。

这项研究被应用于建立模型,可以帮助了解网页链接出现的无标度分布以及它如何可以利用设计更有效的网络爬虫和搜索引擎。

这种材料是基于工作支持下由美国国家科学基金会资助。IIS-0133124/0348940。任何意见、发现和结论或建议用这种材料的作者(年代),不一定反映美国国家科学基金会的观点。