新闻动态
搜索引擎的网络蜘蛛类型
https://www.sytm.net 发布日期:2013/8/11 7:23:46

通常网络蜘蛛都有自己的架构流程,绝大多数网络蜘蛛系统遵循网络蜘蛛的流程,但是并非意味着所有网络蜘蛛都如此一致。根据具体应用的不同,网络蜘蛛系统在许多方面存在差异,大体而言可以将网络蜘蛛分为三种类型。

批量型网络蜘蛛

批量型有比较明确的抓去范围和目标,当网络蜘蛛达到这个设定的目标后,即停止抓取过程。至于具体目标可能各异,也许是设定抓取一定数量的网页即可,也许是设定抓取消耗的时间等,不一而足。

增量型网络蜘蛛

增量型分与批量型网络蜘蛛不同,会保持持续不断的抓取,对于抓取到的网页,要定期更新,因为互联网网页处于不断变化中,新增网页、网页被删除或者网页内容更改都很常见,而增量型网络蜘蛛需要及时反映这种变化,所以处于持续不断的抓取过程中,不是在抓取新网页,就是在更新已有网页。通用的商业搜索引擎网络蜘蛛基本都属此类。

垂直型网络蜘蛛

垂直型关注特定主题内容或者属于特定行业的网页,比如对于健康网站来说,只需要从互联网页里面找到与健康相关的页面内容即可,其他行业的内容是否属于指定行业或着主题。从节省系统资源的角度来说,不太可能把所有互联网页面下载下来之后再去筛选,这样浪费资源就太过分了,往往需要网络蜘蛛在抓取阶段就能够动态识别某个网址是是否与主题相关,并尽量不去抓取无关页面,以达到节省资源的目的。垂直搜索网站或者垂直行业网站往往需要此种类型的网络蜘蛛。

更多阅读
返回列表
© 2010 TianMei Technology All rights reserved. ICP:辽B2-20150138辽公网安备 21010202000010号  目录概览