SEO技术 > SEO教程 > 什么是可爬行性

什么是可爬行性

2018-04-03

在搜索引擎排名需要一个网站有完美的技术搜索引擎优化。幸运的是,Yoast SEO插件负责(几乎)WordPress网站上的所有内容。尽管如此,如果你真的想从你的网站中获得最大收益,并继续超越竞争对手,那么必须具备技术搜索引擎优化的一些基本知识。在这篇文章中,我将解释技术SEO最重要的概念之一:可爬行性。

1. 什么是爬虫?

像谷歌这样的搜索引擎由一个爬虫,一个索引和一个算法组成。抓取工具遵循链接。当Google抓取工具找到您的网站时,它会读取它,并将其内容保存在索引中。

抓取工具遵循网络上的链接。爬行器也被称为机器人,机器人或蜘蛛。它全天候运行互联网。一旦涉及到一个网站,它将网页的HTML版本保存在一个巨大的数据库中,称为索引。每当抓取工具进入您的网站并找到其新版或修订版时,此索引便会更新。根据Google认为您的网站的重要性以及您在网站上所做的更改数量,抓取工具或多或少都会出现。

2. 什么是可爬行性?

可抓取性与Google抓取您的网站的可能性有关。爬行者可以被阻止您的网站。有几种方法可以阻止网站上的抓取工具。如果您的网站或您网站上的某个网页遭到封锁,那么您对Google的抓取工具说:“不要来这里”。在大多数情况下,您的网站或相应的网页不会显示在搜索结果中。

有几件事可能会阻止Google抓取(或建立索引)您的网站:
如果您的robots.txt文件阻止抓取工具,Google将不会访问您的网站或特定网页。
在抓取您的网站之前,抓取工具会查看您网页的HTTP标头。这个HTTP头包含一个状态码。如果此状态代码显示某个网页不存在,Google将不会抓取您的网站。
如果特定网页上的漫游器元标记会阻止搜索引擎对该网页编制索引,Google会抓取该网页,但不会将其添加到其索引。

此流程图可能会帮助您了解尝试索引页面时机器人遵循的流程:

3. 想要了解所有可爬行性?

尽管可爬行性只是技术搜索引擎优化的基础知识(它与所有能够使Google为您的网站建立索引的东西有关),但对于大多数人来说,它已经是非常先进的东西。尽管如此,如果你阻止了 – 也许甚至不知道! – 从您的网站爬虫,你永远不会在谷歌排名高。所以,如果你认真对待搜索引擎优化,这应该对你很重要。

原文:https://yoast.com/seo-basics-crawlability/

免责声明:文章翻译摘录整理转载,若侵犯了您的权益,请联系我及时删除