SEO教程 > SEO博客 > 什么是抓取错误

什么是抓取错误

2018-04-15

当搜索引擎尝试访问您网站上的网页但在其上失败时,会发生抓取错误。抓取是指搜索引擎试图通过机器人访问您网站的每个页面的过程。搜索引擎机器人会找到您网站的链接,并开始从那里找到您的所有公开网页。

僵尸程序会抓取所有内容并将其编入索引,以便在Google中使用,并将这些页面上的所有链接添加到仍需抓取的一堆网页中。您作为网站所有者的主要目标是确保搜索引擎机器人可以访问网站上的所有网页。如果此流程失败,将返回我们称之为抓取错误的内容。

1. 网站错误

网站错误是阻止搜索引擎机器人访问您的网站的所有抓取错误。这可能有很多原因,这是最常见的:

DNS错误。这意味着搜索引擎无法与您的服务器通信。例如,它可能会失效,这意味着您的网站无法访问。这通常是一个暂时的问题。Google稍后会回到您的网站并无论如何都会抓取您的网站。如果您在Google Search Console 中发现抓取错误的通知,这 可能意味着Google已经尝试了几次,但仍然无法抓取。

服务器错误。如果您的搜索控制台显示服务器错误,这意味着该机器人无法访问您的网站。该请求可能已超时。搜索引擎(fi)试图访问您的网站,但加载服务器发送错误消息需要很长时间。当代码中存在阻止加载页面的缺陷时,也会发生服务器错误。这也可能意味着您的网站拥有如此多的访问者,以至于服务器无法处理所有的请求。很多这些错误都以5xx状态码的形式返回,就像这里描述的500和503状态码一样。

机器人失败。在抓取之前,(fi)Googlebot也会尝试抓取您的robots.txt文件,以查看您网站上是否有任何区域没有索引。如果机器人无法到达的robots.txt文件,谷歌将推迟爬行,直到它 可以到达的robots.txt文件。所以一定要确保它可用。
这解释了关于与整个网站相关的抓取错误的一点点。现在我们来看看特定页面可能会发生哪种抓取错误。

2. 网址错误

如前所述,URL错误是指搜索引擎机器人尝试抓取您网站的特定页面时发生的抓取错误。 当我们讨论URL错误时,我们倾向于首先讨论像(软)404 Not Found 错误之类的抓取错误。您应经常检查这些类型的错误(使用Google Search Console或Bing网站站长工具)并修复它们。如果该页面的页面/主题确实消失了,永远不会返回到您的网站,请提供410页面。如果您在其他网页上拥有类似的内容,请改为使用301重定向。确保你的站点地图和内部链接也是最新的。

顺便说一下,我们发现很多这些URL错误都是由内部链接引起的。所以很多这些错误都是你的错。如果您在某个时候从网站中删除某个网页,请调整或删除任何到它的入站链接。这些链接已经没有用了。如果该链接保持不变,僵尸程序会找到并跟踪它,只会发现死胡同(404未找到错误)。在你的网站上。您现在需要在内部链接上进行一些维护!

这些常见错误中可能包括偶尔的DNS错误或该特定URL的服务器错误。稍后重新检查该URL,看看错误是否消失。请务必使用Google抓取方式,并将错误标记为在Google Search Console中修复,如果这是您的主要监控工具。我们的插件可以帮助你。

3. 非常特定的URL错误

有些网址错误只适用于某些网站。这就是为什么我想单独列出这些:

移动设备特定的网址错误。 这是指在现代智能手机上发生的特定于页面的抓取错误。如果你有一个响应式网站,这些不太可能出现。也许只是你想要替换的那部分Flash内容。如果您维护一个单独的移动子域名,如m.seosoz.com,则可能会遇到更多错误。沿着从您的桌面站点到该移动站点的错误重定向行。您甚至可能会在robots.txt中的某行中屏蔽某些移动网站。

恶意软件错误。如果您在网站站长工具中遇到恶意软件错误,这意味着Bing或Google在该URL上发现了恶意软件。这可能意味着发现了一些软件,例如“收集警戒信息,或者一般地破坏其操作。”(维基百科)。您需要调查该页面并删除恶意软件。

Google新闻错误。 有一些特定的Google新闻错误。Google的文档中有很多可能的错误列表,所以如果您的网站位于Google新闻中,您可能会收到这些抓取错误。他们从缺乏标题到错误告诉你网页似乎不包含新闻文章。一定要检查一下,如果这适用于您的网站。

4. 修复抓取错误

本文的底线绝对是:如果遇到抓取错误,请修复它们。它应该是您网站的维护计划的一部分,以便不时检查爬网错误。除此之外,如果你已经安装了我们的高级插件,你可以在WordPress和/或TYPO3中使用一种方便的方式 来防止在删除页面时发生抓取错误。一定要自己检查这些功能!

原文:https://yoast.com/crawl-errors/

免责声明:文章翻译转载,若侵犯了您的权益,请联系我及时删除

点击这里给我发消息