SEO教程 > SEO博客 > 什么是robots.txt

什么是robots.txt

2018-06-11

什么是robots.txt?robots.txt是搜索引擎访问网站时,查看的第一个文件。robots.txt可以指定搜索引擎蜘蛛抓取或不抓取哪些内容,存放在站点根目录下。

1. robots.txt文件放在哪里

robots.txt文件,存在在网站根目录下。以阿里云虚拟主机举例,通过FTP,连接网站。会发现ftplogs、htdocs、wwwlogs等文件夹,其中,htdocs文件夹,存放着网站程序。

双击htdocs文件夹,就来到了网站根目录。刚买到虚拟主机,可能没有robots.txt文件。学习了SEO技术教程,在网站根目录下,创建一个robots.txt文件,就可以了。robots.txt写法是什么,SEOSOZ小编接着说。

2. robots.txt的正确写法

User-agent,用于描述搜索引擎蜘蛛的名字。在Robots.txt文件中,假如有多条User-agent记录,那么,说明多个搜索引擎蜘蛛会受到该协议的限制。

对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在Robots.txt文件中,”User-agent:*”这样的记录只能有一条。

Disallow,用于描述不希望被访问到的一个URL。这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。

3. robots.txt文件的作用

许多时候,我们网站会产生死链接,比如说:网站改版、文章删除等,都很有可能会导致网站出现404页面,那么这个时候我们就需要通过robots来屏蔽这些死链接。

许多网站都有一些没有价值的页面,比如说个人中心页面,这个个人中心页面不会对网站产生价值,在搜索引擎上面的展现也不会给网站带来权重。因此我们需要利用robots来屏蔽这样的页面。

robots.txt文件是一个搜索引擎协议,在网站优化中还是有不错的帮助。然而,正确的robots.txt写法,至关重要。一边疯狂地优化,一边屏蔽掉蜘蛛抓取。这种现象,不应该发生在专业SEOer身上。

上一篇:
相关阅读
  • 大公司SEO等待最重要的变化多久 大公司SEO等待最重要的变化多久

    你会说,如果我告诉你,在一家大公司的平均SEO一直在等待半年以上为他们的最高优先级的技术变化和预期不会看到它部署了至少六...

    2017-10-26
  • 谷歌强烈建议使用HTML快速获取内容索引

    Google的JohnMueller表示,内容需要采用HTML格式才能快速编入索引。 对于经常生成新内容和/或更新内容的网站尤其如此。 穆勒...

    2018-09-16
  • SEO谈判:如何在SEO的业务方面

    今天我们正在讨论SEO谈判的所有事情,所以开始进入SEO的一些业务方面。正如大多数人所知,谈判完全是关于杠杆作用的。 这是您...

    2018-08-26
  • Google:如何快速获取新内容索引

    在网站站长环聊中,Google的John Mueller发表评论不鼓励使用Google Search Console的网址提交工具。他还透露了谷歌如何为网站...

    2018-04-28
  • 如何面对SEO和客户/老板之间的根本挑战

    1. 我的客户不了解SEO的价值,很难证明ROI 当我第一次开始搜索引擎优化,我曾经认为我是所有的客户所有的钱。“是的,比尔,如...

    2018-02-08