SEO教程 > SEO博客 > 什么是robots.txt

什么是robots.txt

2018-06-11

什么是robots.txt?robots.txt是搜索引擎访问网站时,查看的第一个文件。robots.txt可以指定搜索引擎蜘蛛抓取或不抓取哪些内容,存放在站点根目录下。

1. robots.txt文件放在哪里

robots.txt文件,存在在网站根目录下。以阿里云虚拟主机举例,通过FTP,连接网站。会发现ftplogs、htdocs、wwwlogs等文件夹,其中,htdocs文件夹,存放着网站程序。

双击htdocs文件夹,就来到了网站根目录。刚买到虚拟主机,可能没有robots.txt文件。学习了SEO技术教程,在网站根目录下,创建一个robots.txt文件,就可以了。robots.txt写法是什么,SEOSOZ小编接着说。

2. robots.txt的正确写法

User-agent,用于描述搜索引擎蜘蛛的名字。在Robots.txt文件中,假如有多条User-agent记录,那么,说明多个搜索引擎蜘蛛会受到该协议的限制。

对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在Robots.txt文件中,”User-agent:*”这样的记录只能有一条。

Disallow,用于描述不希望被访问到的一个URL。这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。

3. robots.txt文件的作用

许多时候,我们网站会产生死链接,比如说:网站改版、文章删除等,都很有可能会导致网站出现404页面,那么这个时候我们就需要通过robots来屏蔽这些死链接。

许多网站都有一些没有价值的页面,比如说个人中心页面,这个个人中心页面不会对网站产生价值,在搜索引擎上面的展现也不会给网站带来权重。因此我们需要利用robots来屏蔽这样的页面。

robots.txt文件是一个搜索引擎协议,在网站优化中还是有不错的帮助。然而,正确的robots.txt写法,至关重要。一边疯狂地优化,一边屏蔽掉蜘蛛抓取。这种现象,不应该发生在专业SEOer身上。

上一篇:
点击这里给我发消息