当前位置:网站首页 > 网站优化知识 > 什么是搜索引擎蜘蛛?影响搜索引擎蜘蛛抓取页面的因素有哪些?

什么是搜索引擎蜘蛛?影响搜索引擎蜘蛛抓取页面的因素有哪些?

一、什么是搜索引擎蜘蛛?

搜索引擎用来爬行和访问页面的程序被称为搜索引擎蜘蛛或搜索引擎机器人,也称为网络爬虫或网络蜘蛛。

常见的搜索引擎蜘蛛名称如下:

1、百度蜘蛛:Baiduspider

2、360蜘蛛:360Spider

3、谷歌蜘蛛:Googlebot

4、搜狗蜘蛛:Sogourobot

5、搜搜蜘蛛:Sosospider


二、影响搜索引擎蜘蛛抓取页面的因素有哪些?

SEO人员想让自己网站的更多页面被收录,就要想方设法吸引搜索引擎蜘蛛来抓取。

虽然搜索引擎蜘蛛不能抓取所有的页面,但我们就要想法让搜索引擎蜘蛛尽量抓取重要页面。

那么哪些页面被搜索引擎蜘蛛认为是重要的呢?有五个方面的影响因素:


影响搜索引擎蜘蛛抓取因素分析


1、网站和页面权重

质量高、资格老的网站被认为权重比较高,这种网站上的页面被爬行的深度也会比较高,所以会有更多内页被收录。

2、页面更新度

搜索引擎蜘蛛每次爬行都会把页面数据存储起来,如果页面内容经常有更新,搜索引擎蜘蛛就会更加频繁地访问这个页面,页面上出现的新链接,也自然会被搜索引擎蜘蛛更快地跟踪,抓取新页面。

3、导入链接

无论是外部链接还是同一个网站的内部链接,要被搜索引擎蜘蛛抓取,就必须有导入链接进入页面。

高质量的导入链接也经常使页面上的导出链接被爬行深度增加。

4、与首页点击距离

一般来说网站权重最高的是首页,大部分外链是指向首页的,搜索引擎蜘蛛访问最频繁的也是首页。

离首页点击距离越近,页面权重越高,被搜索引擎蜘蛛爬行的机会也越大。

5、URL结构

页面权重高,越有利于被搜索引擎蜘蛛抓取。

那么搜索引擎蜘蛛如何判断页面权重呢?

除了链接、与首页距离、历史数据等因素外;

短的、层次浅的URL也可能被直观的认为在网站上的权重相对较高。



版权声明:凡本网站原创作品,未经允许,不得转载,转载请注明“来源:搜我点上海网站优化公司”。

违反上述声明者将追究其法律责任。

阅读“什么是搜索引擎蜘蛛?影响搜索引擎蜘蛛抓取页面的因素有哪些?”的人还阅读了 上一篇:什么是超链接?什么是内链?什么是外链? 下一篇:什么是热搜关键词?如何查看热搜关键词?
网站优化相关文章