当前位置:网站首页 > 网站优化知识 > 什么是robots.txt文件?robots.txt文件有哪些作用呢?

什么是robots.txt文件?robots.txt文件有哪些作用呢?

一、什么是robots.txt文件?

搜索引擎机器人每次来到要抓取的网站,都会先访问这个网站根目录下的一个文件(robots.txt);

如果不存在该文件,则搜索引擎机器人默认这个网站允许其全部抓取。

robots.txt是一个简单的纯文本文件(记事本文件),搜索引擎机器人通过robots.txt里的“说明”,理解该网站是否可以全部抓取或部分抓取。


robots.txt文件


如果希望搜索引擎收录网站的全部网页,则可以不设置robots.txt或上传一个命名为robots.txt的空记事本到根目录。

上传robots.txt后,通过域名/robots.txt 可以正常访问。注意,robots.txt的命名,都应该是小写。

访问:www.seodian.com/robots.txt ,如下图:


robots.txt文件写法图示


二、使用robots.txt文件应遵循的3个原则

1、不要屏蔽首页的后缀,比如:index.php,index.html 等;

2、不要写太多带星号的,尽量简洁一些,百度和Google的robtos.txt带星号的写法几乎没有,太多带星号的,就可能存在误伤;

3、不用什么都屏蔽,某些页面即使被收录了也不影响什么的,就建议可以不用屏蔽。


三、robots.txt文件有哪些作用呢?

1、robots.txt文件可以屏蔽相似或者没有内容的页面

2、robots.txt文件可以屏蔽网站内的死链接

3、robots.txt文件可以屏蔽掉多余的链接,当动态和静态链接存在时,一般去掉动态的

4、robots.txt文件可以屏蔽可能存在的被“K”的外部链接

5、robots.txt文件可以阻止搜索引擎收录网站隐私性的内容



版权声明:凡本网站原创作品,未经允许,不得转载,转载请注明“来源:搜我点上海网站优化公司”。

违反上述声明者将追究其法律责任。

阅读“什么是robots.txt文件?robots.txt文件有哪些作用呢?”的人还阅读了 上一篇:什么是网站目录结构?如何优化网站目录结构? 下一篇:什么是死链接和错误链接?
网站优化相关文章