Menu
帮助中心

帮助中心

专注网站建设10年,已为2000家公司提供网站建设
您当前所在位置:首页 > > 信息中心 > 帮助中心

网站搜索引擎的蜘蛛是什么

  网络蜘蛛即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从 网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网 站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

  对于搜索引擎来说,要抓取互联网上所有的网页几乎是不可能的,从目前公布的数据来看,容量最大的搜索引擎也不过是抓取了整个网页数量的百分之四十左右。这 其中的原因一方面是抓取技术的瓶颈,无法遍历所有的网页,有许多网页无法从其它网页的链接中找到;另一个原因是存储技术和处理技术的问题,如果按照每个页 面的平均大小为20K计算(包含图片),100亿网页的容量是100×2000G字节,即使能够存储,下载也存在问题(按照一台机器每秒下载20K计算, 需要340台机器不停的下载一年时间,才能把所有网页下载完毕)。同时,由于数据量太大,在提供搜索时也会有效率方面的影响。因此,许多搜索引擎的网络蜘 蛛只是抓取那些重要的网页,而在抓取的时候评价重要性主要的依据是某个网页的链接深度。
在抓取网页的时候,网络蜘蛛一般有两种策略:广度优先和深度优先(如下图所示)。

  广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页,然后再选择其中 的一个链接网页,继续抓取在此网页中链接的所有网页。这是最常用的方式,因为这个方法可以让网络蜘蛛并行处理,提高其抓取速度。深度优先是指网络蜘蛛会从 起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易。两种策 略的区别,下图的说明会更加明确。
由于不可能抓取所有的网页,有些网络蜘蛛对一些不太重要的网站,设置了访问的层数。例如,在上图中,A为起始网页,属于0层,B、C、D、E、F属于第1 层,G、H属于第2层,I属于第3层。如果网络蜘蛛设置的访问层数为2的话,网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索 到,另外一部分不能被搜索到。对于网站设计者来说,扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

  网络蜘蛛在访问网站网页的时候,经常会遇到加密数据和网页权限的问题,有些网页是需要会员权限才能访问。当然,网站的所有者可以通过协议让网络蜘蛛不去抓 取(下小节会介绍),但对于一些出售报告的网站,他们希望搜索引擎能搜索到他们的报告,但又不能完全免费的让搜索者查看,这样就需要给网络蜘蛛提供相应的 用户名和密码。网络蜘蛛可以通过所给的权限对这些网页进行网页抓取,从而提供搜索。而当搜索者点击查看该网页的时候,同样需要搜索者提供相应的权限验证。

相关阅读

汇总搜索引擎网站的免费提…

帮助中心 2009-11-15
1,Google免费网站提交入口http://www.google.com/addurl/2,百度免费网站提交入口http://www.baidu.com/se…阅读新闻

网站建设分为几个步骤?

帮助中心 2009-11-01
1.域名注册域名,是互联网上的一个企业或机构的名字,是在互联网上企业间相互联络的网络地址。一个企业如…阅读新闻

网站能干什么?

帮助中心 2009-11-01
例如一个企业在互联网上发布公司简介、新产品信息、产品说明、宣传公司服务、招聘人才等多方面信息。不仅可…阅读新闻

谷歌关闭三个工程办公室 全…

帮助中心 2009-11-01
谷歌周三表示,该公司将关闭三个工程办公室,并在全球范围内裁减约100名员工。据国外媒体报道,谷歌人力资源…阅读新闻

网站修改应该怎样沟通?

帮助中心 2019-09-02
关于网站修改是每一个网站建设,和每一个客户在做网站的必须经历的过程。在初稿做出来后都会提一些修改意见…阅读新闻

网站制作周期是多久

帮助中心 2019-08-22
目前流行的网站建设即便上只有两个方式,第一种是直接进行模板的套用,另一种是定制网站。两种类型的网站建…阅读新闻
返回全部新闻

最新发布

绵阳网站建设哪家好

绵阳网站建设中心 2019-09-02
沛宣网络追求更佳超越价值沛宣网络成立于2008年1月份,是一家技术型网络公司。沛宣网络十年来专注于:营销型…阅读新闻

南充网站建设如何选择服务…

南充网站建设中心 2019-09-02
南充网站建设需要租用服务器,这是目前大多数企业正在做的。然而,由于缺乏网站服务器租赁的技能和经验,一…阅读新闻

六盘水网站建设包含哪些内…

六盘水网站建设中心 2019-09-02
一个网站由域名、主机(虚拟主机)、网站程序三个部分组成,建设一个新的网站的一般步骤如下:1、网站方案策…阅读新闻

百度关键词排名查询网址

SEO知识 2019-09-02
百度网站关键词排名在哪里查?做好了网站,没有人不关心网站在搜索引擎(百度)的排名,那么如何查关键词在…阅读新闻

涪陵企业网站制作之手机网…

涪陵网站建设资讯 2019-09-02
涪陵手机网站建设有哪些好处呢?随着APP、小程序的出现,手机网站的竞争越来越大,但是为什么还是有许多企业…阅读新闻

网站建设制作和定位策划

网站建设中心 2019-09-02
网站制作怎么做的?以下内容为沛宣网络公司为客户提供的参考性建议首先是,是为了在公众面前树立公司形象、…阅读新闻

网站修改应该怎样沟通?

帮助中心 2019-09-02
关于网站修改是每一个网站建设,和每一个客户在做网站的必须经历的过程。在初稿做出来后都会提一些修改意见…阅读新闻

重庆模板化严重-深度分析重…

网站建设中心 2019-09-02
模板化严重近年来,由于智能建站,还有网站建设行业的门坎低、造成网站建设市场模板网站盛行。对于网站建设…阅读新闻

杨家坪琴行_重庆杨家坪哪里…

网站建设中心 2019-08-28
重庆杨家坪周边的琴行很多,沛宣网络推荐一个杨家坪比较大型的乐器行,就是新华书店乐器销售中心,新华书店…阅读新闻

挤塑板公司网站建设_重庆挤…

网站建设中心 2019-08-28
由沛宣网络公司建设的重庆鹏茂建材有限公司的营销型网站。整个网站采用绿色环保的色彩。全面展示鹏茂建材的…阅读新闻

价格很低的网站建设会有哪…

网站建设中心 2019-08-28
1,模板构建网站低成本网站建设将使用模板建立一个站点或免费开源程序,这样可以节省成本,为了实现低价格,…阅读新闻

月嫂公司网站建设方案

网站建设中心 2019-08-28
月嫂公司的网站主要以月嫂展示,月嫂服务,体现公司实力,服务标准等内容。重庆专业月嫂、月子教练、育儿嫂…阅读新闻
返回全部新闻
友情链接:
  • 企业网站建设
  • 营销型网站建设
  • 手机网站建设
  • 模板网站建设
  • H5网站建设
  • 网站改版升级
  • 重庆网站建设
  • 模板网站建设
  • 公司简介
  • 成功案例
  • 解决方案
  • 新闻中心
  • 联系我们
  • 网站地图
  • XML
  • 万州网站建设
  • 江津网站建设
  • 永川网站建设
  • 合川网站建设
  • 北碚网站建设
  • 黔江网站建设
  • 涪陵网站建设
  • 南川网站建设
  • 铜梁网站建设
  • 璧山网站建设
  • 大足网站建设
  • 綦江网站建设
  • 长寿网站建设
  • 开州网站建设
  • 潼南网站建设
  • 武隆网站建设
  • 奉节网站建设
  • 荣昌网站建设
  • 梁平网站建设
  • 城口网站建设
  • 云阳网站建设
  • 巫山网站建设
  • 丰都网站建设
  • 垫江网站建设
  • 秀山网站建设
  • 酉阳网站建设
  • 忠县网站建设
  • 石柱网站建设
  • 彭水网站建设
  • 巫溪网站建设
  • 万盛网站建设
  • 巴南网站建设
  • 江北网站建设
  • 南坪网站建设
  • 九龙坡网站建设
  • 沙坪坝网站建设
  • 大渡口网站建设
  • 毕节网站建设
  • 安顺网站建设
  • 六盘水网站建设
  • 铜仁网站建设
  • 黔东南网站建设
  • 黔南网站建设
  • 黔西南网站建设
  • 遵义网站建设
  • 昆明网站建设
  • 曲靖网站建设
  • 昭通网站建设
  • 绵阳网站建设
  • 自贡网站建设
  • 攀枝花网站建设
  • 玉溪网站建设
  • 保山网站建设
  • 丽江网站建设
  • 临沧网站建设
  • 大理网站建设
  • 普洱网站建设
  • 拉萨网站建设
  • 日喀则网站建设
  • 昌都网站建设
  • 林芝网站建设
  • 山南网站建设
  • 那曲网站建设
  • 阿里网站建设
  • 宝鸡网站建设
  • 汉中网站建设
  • 铜川网站建设
  • 咸阳网站建设
  • 渭南网站建设
  • 安康网站建设
  • 延安网站建设
  • 商洛网站建设
  • 榆林网站建设
  • Copyright © 2008-2018 沛宣网络 渝ICP备13000588号-5 工商备:500108000067794 渝公网安备 50010802002673号

    扫描二维码添加微信:沛宣网络
    确 认