网路具有动态性很强的特性。抓取网路上的一小部分内容可能会花费真的很长的时间，通常用周或者月来衡量。当爬虫完成它的抓取的任务以后，很多操作是可能会发生的，这些操作包括新建，更新和删除。

从搜寻引擎的角度来看，不检测这些事件是有成本的，成本就是我们仅仅拥有一份过时的资源。最常使用的成本函式，是新鲜度和过时性（2000年，Cho 和Garcia-Molina）

新鲜度：这是一个衡量抓取内容是不是準确的二元值。在时间t内，仓库中页面p的新鲜度是这样定义的：

过时性:这是一个衡量本地已抓取的内容过时程度的指标。在时间t时，仓库中页面p的时效性的定义如下：

新鲜度

在页面抓取中，新鲜度和过时性的发展

过时性

Coffman等人（Edward G. Coffman，1998）是从事爬虫对象定义的，他们提出了一个相当于新鲜度的概念，但是使用了不同的措词：他们建议爬虫必须最小化过时页面部分。他们指出网路爬行的问题就相当于多个伫列，一个投票系统；这里，爬虫是伺服器，不同的站点是伫列。页面修改是到达的顾客，页面切换的时间是页面进入一个单一站点的间隔。在这个模型下，每一个顾客在投票系统的平均时间，相当于爬虫的平均过时性。

爬虫的目标是儘可能高的提高页面的新鲜度，同时降低页面的过时性。这一目标并不是完全一样的，第一种情况，爬虫关心的是有多少页面时过时的；在第二种情况，爬虫关心的页面过时了多少。

两种最简单的重新访问策略是由Cho和Garcia-Molina研究的（Cho 和Garcia-Molina，2003）：

统一策略：使用相同的频率，重新访问收藏中的所有的连结，而不考虑他们更新频率。

正比策略：对变化越多的网页，重新访问的频率也越高。网页访问的频率和网页变化的频率直接相关。

（两种情况下，爬虫的重新抓取都可以採用随机方式，或者固定的顺序）

Cho和Garcia-Molina证明了一个出人意料的结果。以平均新鲜度方式衡量，统一策略在模拟页面和真实的网路抓取中都比正比策略出色。对于这种结果的解释是：当一个页面变化太快的时候，爬虫将会将会在不断的尝试重新抓取而浪费很多时间，但是却还是不能保证页面的新鲜度。

为了提高页面的新鲜度，我们应该宣判变化太快的页面死罪（Cho和Garcia-Molina, 2003a）。最佳的重新访问策略既不是统一策略，也不是正比策略；保持平均页面新鲜度高的最佳方法策略包括忽略那些变化太快的页面，而保持页面平均过时性低的方法则是对每一页按照页面变化率单调变化的策略访问。两种情况下，最佳的策略较正比策略，都更接近统一策略。正如Coffman等人（Edward G.Coffman，1998）所注意到的：“为了最小化页面过时的时间，对任一个页面的访问都应该儘可能的均匀间隔地访问。”对于重新访问的详尽的策略在大体上是不可以达到的，但是他们可以从数学上得到，因为他们依赖于页面的变化。（Cho和Garcia-Molina,2003a）指出指数变化是描述页面变化的好方法，同时（Ipeirotis等人，2005）指出了怎幺使用统计工具去发现适合这些变化的参数。注意在这里的重新访问策略认为每一个页面都是相同的（网路上所有的页面价值都是一样的）这不是现实的情况，所以，为了获取更好的抓取策略，更多有关网页质量的信息应该考虑进去。

1.3 平衡礼貌策略

爬虫相比于人，可以有更快的检索速度和更深的层次，所以，他们可能使一个站点瘫痪。不需要说一个单独的爬虫一秒钟要执行多条请求，下载大的档案。一个伺服器也会很难回响多执行绪爬虫的请求。

就像Koster（Koster，1995）所注意的那样，爬虫的使用对很多工作都是很有用的，但是对一般的社区，也需要付出代价。使用爬虫的代价包括：

 网路资源：在很长一段时间，爬虫使用相当的频宽高度并行地工作。

 伺服器超载：尤其是对给定伺服器的访问过高时。

 质量糟糕的爬虫，可能导致伺服器或者路由器瘫痪，或者会尝试下载自己无法处理的页面。

 个人爬虫，如果过多的人使用，可能导致网路或者伺服器阻塞。

对这些问题的一个部分解决方法是漫游器排除协定（Robots exclusion protocol），也被称为robots.txt议定书（Koster，1996），这份协定对于管理员指明网路伺服器的那一部分不能到达是一个标準。这个标準没有包括重新访问一台伺服器的间隔的建议，虽然访问间隔是避免伺服器超载的最有效的办法。最近的商业搜寻软体，如Ask Jeeves，MSN和Yahoo可以在robots.txt中使用一个额外的 “Crawl-delay”参数来指明请求之间的延迟。

对连线间隔时间的第一个建议由Koster 1993年给出，时间是60秒。按照这个速度，如果一个站点有超过10万的页面，即使我们拥有零延迟和无穷频宽的完美连线，它也会需要两个月的时间来下载整个站点，并且，这个伺服器中的资源，只有一小部分可以使用。这似乎是不可以接受的。

Cho（Cho和Garcia-Molina, 2003）使用10秒作为访问的间隔时间，WIRE爬虫(Baeza-Yates and Castillo, 2002)使用15秒作为默认间隔。MercatorWeb(Heydon 和Najork, 1999)爬虫使用了一种自适应的平衡策略：如果从某一伺服器下载一个文档需要t秒钟，爬虫就等待10t秒的时间，然后开始下一个页面。Dill等人 (Dill et al., 2002) 使用1秒。

对于那些使用爬虫用于研究目的的，一个更详细的成本-效益分析是必要的，当决定去哪一个站点抓取，使用多快的速度抓取的时候，伦理的因素也需要考虑进来。

访问记录显示已知爬虫的访问间隔从20秒钟到3-4分钟不等。需要注意的是即使很礼貌，採取了所有的安全措施来避免伺服器超载，还是会引来一些网路伺服器管理员的抱怨的。Brin和Page注意到：运行一个针对超过50万伺服器的爬虫，会产生很多的邮件和电话。这是因为有无数的人在上网，而这些人不知道爬虫是什幺，因为这是他们第一次见到。（Brin和Page，1998）

1.4 并行策略

一个并行爬虫是并行运行多个进程的爬虫。它的目标是最大化下载的速度，同时儘量减少并行的开销和下载重複的页面。为了避免下载一个页面两次，爬虫系统需要策略来处理爬虫运行时新发现的URL，因为同一个URL地址，可能被不同的爬虫进程抓到。

2. 网路爬虫体系结构

网页爬虫的高层体系结构

一个爬虫不能像上面所说的，仅仅只有一个好的抓取策略，还需要有一个高度最佳化的结构。

Shkapenyuk和Suel（Shkapenyuk和Suel，2002）指出：设计一个短时间内，一秒下载几个页面的颇慢的爬虫是一件很容易的事情，而要设计一个使用几周可以下载百万级页面的高性能的爬虫，将会在系统设计，I/O和网路效率，健壮性和易用性方面遇到众多挑战。

网路爬虫是搜寻引擎的核心，他们算法和结构上的细节被当作商业机密。当爬虫的设计发布时，总会有一些为了阻止别人複製工作而缺失的细节。人们也开始关注主要用于阻止主要搜寻引擎发布他们的排序算法的“搜寻引擎垃圾邮件”。

2.1 URL一般化

爬虫通常会执行几种类型的URL规範化来避免重複抓取某些资源。URL一般化也被称为URL标準化，指的是修正URL并且使其前后一致的过程。这里有几种一般化方法，包括转化URL为小写的，去除逗号（如‘.’ ‘..’等），对非空的路径，在末尾加反斜槓。

3. 爬虫身份识别

网路爬虫通过使用http请求的用户代理(User Agent)栏位来向网路伺服器表明他们的身份。网路管理员则通过检查网路伺服器的日誌，使用用户代理栏位来辨认哪一个爬虫曾经访问过以及它访问的频率。用户代理栏位可能会包含一个可以让管理员获取爬虫更多信息的URL。邮件抓取器和其他怀有恶意的网路爬虫通常不会留任何的用户代理栏位内容，或者他们也会将他们的身份伪装成浏览器或者其他的知名爬虫。

对于网路爬虫，留下用户标誌信息是十分重要的；这样，网路管理员在需要的时候就可以联繫爬虫的主人。有时，爬虫可能会陷入爬虫陷阱或者使一个伺服器超负荷，这时，爬虫主人需要使爬虫停止。对那些有兴趣了解特定爬虫访问时间网路管理员来讲，用户标识信息是十分重要的。

4.用户爬虫的例子

以下是一系列已经发布的一般用途的网路爬虫（除了主题检索的爬虫）的体系结构，包括了对不同组件命名和突出特点的简短的描述。

 RBSE （Eichmann，1994）是第一个发布的爬虫。它有两个基础程式。第一个是“spider”，抓取伫列中的内容到一个关係资料库中，第二个程式是“mite”，是一个修改后的www的ASCII浏览器，负责从网路上下载页面。

 WebCrawler（Pinkerton，1994）是第一个公开可用的 用来建立全文索引的一个子程式，他使用库www来下载页面；另外一个程式使用广度优先来解析获取URL并对其排序；它还包括一个根据选定文本和查询相似程度爬行的实时爬虫。

 World Wide Web Worm (McBryan, 1994)是一个用来为档案建立包括标题和URL简单索引的爬虫。索引可以通过grep式的Unix命令来搜寻。

 Google Crawler (Brin and Page, 1998)用了一些细节来描述，但是这些细节仅仅是关于使用C++和Python编写的、一个早期版本的体系结构。因为文本解析就是全文检索和URL抽取的过程，所以爬虫集成了索引处理。这里拥有一个URL伺服器，用来给几个爬虫程式传送要抓取的URL列表。在文本解析的时候，新发现的URL传送给URL伺服器并检测这个URL是不是已经存在，如果不存在的话，该URL就加入到URL伺服器中。

 CobWeb (da Silva et al., 1999)使用了一个中央“调度者”和一系列的“分散式的蒐集者”。蒐集者解析下载的页面并把找到的URL传送给调度者，然后调度者反过来分配给蒐集者。调度者使用深度优先策略，并且使用平衡礼貌策略来避免伺服器超载。爬虫是使用Perl语言编写的。

 Mercator (Heydon and Najork, 1999; Najork and Heydon, 2001)是一个分散式的，模组化的使用java编写的网路爬虫。它的模组化源自于使用可互换的的“协定模组”和“处理模组”。协定模组负责怎样获取网页（例如使用HTTP），处理模组负责怎样处理页面。标準处理模组仅仅包括了解析页面和抽取URL，其他处理模组可以用来检索文本页面，或者蒐集网路数据。

 WebFountain (Edwards et al., 2001)是一个与Mercator类似的分散式的模组化的爬虫，但是使用C++编写的。它的特点是一个管理员机器控制一系列的蚂蚁机器。经过多次下载页面后，页面的变化率可以推测出来，这时，一个非线性的方法必须用于求解方程以获得一个最大的新鲜度的访问策略。作者推荐在早期检索阶段使用这个爬虫，然后用统一策略检索，就是所有的页面都使用相同的频率访问。

 PolyBot [Shkapenyuk and Suel, 2002]是一个使用C++和Python编写的分散式网路爬虫。它由一个爬虫管理者，一个或多个下载者，一个或多个DNS解析者组成。抽取到的URL被添加到硬碟的一个伫列里面，然后使用批处理的模式处理这些URL。平衡礼貌方面考虑到了第二、三级网域，因为第三级网域通常也会保存在同一个网路伺服器上。

 WebRACE (Zeinalipour-Yazti and Dikaiakos, 2002)是一个使用java实现的，拥有检索模组和快取模组的爬虫，它是一个很通用的称作eRACE的系统的一部分。系统从用户得到下载页面的请求，爬虫的行为有点像一个聪明的代理伺服器。系统还监视订阅网页的请求，当网页发生改变的时候，它必须使爬虫下载更新这个页面并且通知订阅者。WebRACE最大的特色是，当大多数的爬虫都从一组URL开始的时候，WebRACE可以连续地的接收抓取开始的URL地址。

 Ubicrawer (Boldi et al., 2004)是一个使用java编写的分散式爬虫。它没有中央程式。它由一组完全相同的代理组成，分配功能通过主机前后一致的散列计算进行。这里没有重複的页面，除非爬虫崩溃了（然后，另外一个代理就会接替崩溃的代理重新开始抓取）。爬虫设计为高伸缩性和允许失败的。

 FAST Crawler (Risvik and Michelsen, 2002) 是一个分散式的爬虫，在Fast Search&Transfer中使用，关于其体系结构的一个大致的描述可以在[citation needed]找到。

 Labrador,一个工作在开源项目Terrier Search Engine上的非开源的爬虫。

 TeezirCrawler是一个非开源的可伸缩的网页抓取器，在Teezir上使用。该程式被设计为一个完整的可以处理各种类型网页的爬虫，包括各种JavaScript和HTML文档。爬虫既支持主题检索也支持非主题检索。

 Spinn3r, 一个通过部落格构建反馈信息的爬虫。 Spinn3r是基于java的，它的大部分的体系结构都是开源的。

 HotCrawler,一个使用c语言和php编写的爬虫。

 ViREL Microformats Crawler，搜寻公众信息作为嵌入到网页的一小部分。

除了上面列出的几个特定的爬虫结构以外，还有Cho (Cho and Garcia-Molina, 2002)和Chakrabarti (Chakrabarti, 2003)发布的一般的爬虫体系结构。

4.1 开源爬虫

 DataparkSearch是一个在GNU GPL许可下发布的爬虫搜寻引擎。

 GNU Wget是一个在GPL许可下，使用C语言编写的命令行式的爬虫。它主要用于网路伺服器和FTP伺服器的镜像。

 Heritrix是一个网际网路档案馆级的爬虫，设计的目标为对大型网路的大部分内容的定期存档快照，是使用java编写的。

 Ht://Dig在它和索引引擎中包括了一个网页爬虫。

 HTTrack用网路爬虫创建网路站点镜像，以便离线观看。它使用C语言编写，在GPL许可下发行。

 ICDL Crawler是一个用C++编写，跨平台的网路爬虫。它仅仅使用空闲的CPU资源，在ICDL标準上抓取整个站点。

 JSpider是一个在GPL许可下发行的，高度可配置的，可定製的网路爬虫引擎。

 LLarbin由Sebastien Ailleret开发；

 Webtools4larbin由Andreas Beder开发；

 Methabot是一个使用C语言编写的高速最佳化的，使用命令行方式运行的，在2-clause BSD许可下发布的网页检索器。它的主要的特性是高可配置性，模组化；它检索的目标可以是本地档案系统，HTTP或者FTP。

 Nutch是一个使用java编写，在Apache许可下发行的爬虫。它可以用来连线Lucene的全文检索套件；

 Pavuk是一个在GPL许可下发行的，使用命令行的WEB站点镜像工具，可以选择使用X11的图形界面。与wget和httprack相比，他有一系列先进的特性，如以正则表达式为基础的档案过滤规则和档案创建规则。

 WebVac是斯坦福WebBase项目使用的一个爬虫。

 WebSPHINX(Miller and Bharat, 1998)是一个由java类库构成的，基于文本的搜寻引擎。它使用多执行绪进行网页检索，html解析，拥有一个图形用户界面用来设定开始的种子URL和抽取下载的数据；

 WIRE-网路信息检索环境(Baeza-Yates 和 Castillo, 2002)是一个使用C++编写，在GPL许可下发行的爬虫，内置了几种页面下载安排的策略，还有一个生成报告和统计资料的模组，所以，它主要用于网路特徵的描述；

 LWP：RobotUA(Langheinrich,2004)是一个在Perl5许可下发行的，可以优异的完成并行任务的 Perl类库构成的机器人。

 Web Crawler是一个为.net準备的开放原始码的网路检索器（C#编写）。

 Sherlock Holmes收集和检索本地和网路上的文本类数据（文本档案，网页），该项目由捷克入口网站中枢（Czech web portal Centrum）赞助并且主用商用于这里；它同时也使用在。

 YaCy是一个基于P2P网路的免费的分散式搜寻引擎（在GPL许可下发行）；

 Ruya是一个在广度优先方面表现优秀，基于等级抓取的开放原始码的网路爬虫。在英语和日语页面的抓取表现良好，它在GPL许可下发行，并且完全使用Python编写。按照robots.txt有一个延时的单网域延时爬虫。

 Universal Information Crawler快速发展的网路爬虫，用于检索存储和分析数据；

 Agent Kernel，当一个爬虫抓取时，用来进行安排，并发和存储的java框架。

 是一个使用C#编写，需要SQL Server 2005支持的，在GPL许可下发行的多功能的开源的机器人。它可以用来下载，检索，存储包括电子邮件地址，档案，超连结，图片和网页在内的各种数据。

 Dine是一个多执行绪的java的http客户端。它可以在LGPL许可下进行二次开发。

网路爬虫的组成

在网路爬虫的系统框架中，主过程由控制器，解析器，资源库三部分组成。控制器的主要工作是负责给多执行绪中的各个爬虫执行绪分配工作任务。解析器的主要工作是下载网页，进行页面的处理，主要是将一些JS脚本标籤、CSS代码内容、空格字元、HTML标籤等内容处理掉，爬虫的基本工作是由解析器完成。资源库是用来存放下载到的网页资源，一般都採用大型的资料库存储，如Oracle资料库，并对其建立索引。

控制器

控制器是网路爬虫的中央控制器，它主要是负责根据系统传过来的URL连结，分配一执行绪，然后启动执行绪调用爬虫爬取网页的过程。

解析器

解析器是负责网路爬虫的主要部分，其负责的工作主要有：下载网页的功能，对网页的文本进行处理，如过滤功能，抽取特殊HTML标籤的功能，分析数据功能。

资源库

主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的资料库产品有：Oracle、Sql Server等。