当前位置:网站首页 > 网站优化资讯 > 搜索引擎蜘蛛在抓取页面时会遇到哪些问题?

搜索引擎蜘蛛在抓取页面时会遇到哪些问题?

当搜索引擎蜘蛛来到我们的网站访问时,它的工作就是要找到喜欢的网页并抓取,那么从搜索引擎蜘蛛的角度去看待一个网站,它在抓取、索引和排名时会遇到哪些问题呢?

对它来说,网站怎么样能顺利的让它抓取呢?如果这些问题能解决,那么这个网站的设计就是搜索引擎友好的。


以下3个就是搜索引擎蜘蛛抓取页面时遇到的问题,有待我们做SEO的去思考如何解决


搜索引擎蜘蛛抓取页面

搜索引擎蜘蛛抓取页面


一、搜索引擎蜘蛛能不能找到网页

要让搜索引擎发现网站首页,就必须要有外部链接连到首页,找到首页后,蜘蛛沿着内部链接找到更深的内容页。

因此就要求网站要有良好的结构,符合逻辑,并且所有页面可以通过可爬行的普通HTML链接达到。

像JavaScript链接、Flash中的链接等,搜索引擎蜘蛛一般不能跟踪爬行,造成页面很难被收录。

网站所有页面离首页点击距离不能太远,最好在四五次点击之内。

要被搜索引擎收录,页面需要有最基本的权重,良好的网站结构可以适当传递权重,使尽量多的页面被蜘蛛抓取。


二、搜索引擎找到网页后能不能抓取页面内容

被发现的URL必须是可以被抓取的。

带有过多参数的URL、整个页面是Flash、不合理的框架结构、可疑的转向、大量复制粘贴的内容等都可能使搜索引擎敬而远之。

假如有些文件或网页不希望被搜索引擎收录,那可以使用robots文件来禁止搜索引擎收录。


三、搜索引擎抓取页面后怎么提取有用信息

关键词在页面重要位置的合理分布、重要标签的书写、HTML代码精简、起码的兼容性等,可以帮助搜索引擎更好地理解页面内容,进而能够提取有用信息。

只有搜索引擎能顺利找到所有页面,抓取这些页面并提取其中真正有相关性的内容,网站才可以被视为是搜索引擎友好的。

关于网站结构的优化,在这里引用一句非常精辟的话:“良好引用,良好结构,良好导航”,希望各位站长在优化自己网站的过程中,能够很好地理解这句话的含义,并在实践中好好应用!



版权声明:凡本网站原创作品,未经允许,不得转载,转载请注明“来源:搜我点上海网站优化公司”。

违反上述声明者将追究其法律责任。

阅读“搜索引擎蜘蛛在抓取页面时会遇到哪些问题?”的人还阅读了 上一篇:设计网站导航要解决什么问题?设计网站导航有哪些注意事项? 下一篇:为什么要优化网站结构?
网站优化相关文章