SEO教程 > SEO博客 > 什么是robots.txt

什么是robots.txt

2018-06-11

什么是robots.txt?robots.txt是搜索引擎访问网站时,查看的第一个文件。robots.txt可以指定搜索引擎蜘蛛抓取或不抓取哪些内容,存放在站点根目录下。

1. robots.txt文件放在哪里

robots.txt文件,存在在网站根目录下。以阿里云虚拟主机举例,通过FTP,连接网站。会发现ftplogs、htdocs、wwwlogs等文件夹,其中,htdocs文件夹,存放着网站程序。

双击htdocs文件夹,就来到了网站根目录。刚买到虚拟主机,可能没有robots.txt文件。学习了SEO技术教程,在网站根目录下,创建一个robots.txt文件,就可以了。robots.txt写法是什么,SEOSOZ小编接着说。

2. robots.txt的正确写法

User-agent,用于描述搜索引擎蜘蛛的名字。在Robots.txt文件中,假如有多条User-agent记录,那么,说明多个搜索引擎蜘蛛会受到该协议的限制。

对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在Robots.txt文件中,”User-agent:*”这样的记录只能有一条。

Disallow,用于描述不希望被访问到的一个URL。这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。

3. robots.txt文件的作用

许多时候,我们网站会产生死链接,比如说:网站改版、文章删除等,都很有可能会导致网站出现404页面,那么这个时候我们就需要通过robots来屏蔽这些死链接。

许多网站都有一些没有价值的页面,比如说个人中心页面,这个个人中心页面不会对网站产生价值,在搜索引擎上面的展现也不会给网站带来权重。因此我们需要利用robots来屏蔽这样的页面。

robots.txt文件是一个搜索引擎协议,在网站优化中还是有不错的帮助。然而,正确的robots.txt写法,至关重要。一边疯狂地优化,一边屏蔽掉蜘蛛抓取。这种现象,不应该发生在专业SEOer身上。

上一篇:
相关阅读
  • 移动优先索引如何工作,以及它如何影响SEO?

    1. 什么是“移动优先索引”? 移动优先索引正是它听起来像。这只意味着,您的网站的移动版本成为Google在其索引中包含的起点,...

    2018-01-03
  • SEO的访客博客:如何在规模上建立高质量的链接

    1.如何轻松找到(并且永远不会用完)客户博客机会 每个访客博客指南都提供相同的建议-使用这些搜索运算符来寻找机会: [your_...

    2018-09-05
  • 为什么语音搜索对数字营销很重要

    从某种意义上来说,语音搜索结果只是现在位于SERP顶部的一些基于查询的搜索词的特色片段的持续演变。谷歌本身已经表示,特色...

    2018-04-07
  • 建立更好的客户体验

    这里有一些你可以做的额外的事情。我的意思是修复一些这些东西,如果它们可能运行不好。但是,您可以采取其他一些措施来确保...

    2018-09-02
  • 改善Facebook范围的新策略

    Facebook流量正在减少 在我的博客文章中留下评论的大多数人也注意到过去几个月来自Facebook的推荐流量大幅下降。有些人完全离...

    2018-09-08