SEO技术 > SEO博客 > 自动化SEO的技术报告

自动化SEO的技术报告

2017-11-01

随着网络变得越来越复杂,JavaScript框架和图书馆前端在网站上,渐进的网络应用程序,单页面应用程序,JSON-LD等,我们越来越看到越来越多的表面面积出现问题。当你所有的HTML和CSS和链接,只有这么多你可以搞砸。然而,在当今世界的动态生成的通用JS界面的网站上,存在很大的错误空间。

我们面临的第二个问题是,很难知道什么时候出了问题,或者Google改变了处理方式。当您解决网站迁移或重新设计时,您可能会突然存档大量旧内容或重新映射网址结构,这仅仅是复杂的。那么我们如何应对这些挑战呢?

旧的方式

历史上,您分析这样的事情的方式是通过使用Excel查看日志文件,或者如果您是核心的日志解析器。这些都很棒,但是他们要求你知道你有一个问题,或者你正在寻找并碰巧抓住一部分需要解决的问题的日志。不是不可能,而且我们在博客和我们的日志文件分析指南中已经写得很广泛。

然而,这个问题是相当明显的。它需要你看,而不是让你意识到有东西要寻找。考虑到这一点,我以为我会花一些时间调查是否有一些可以做的事情,使整个过程花费更少的时间和作为一个预警系统。

帮助手

我们需要做的第一件事是设置我们的服务器在某个地方发送日志文件。我的标准解决方案已经成为使用日志轮换。根据您的服务器,您将使用不同的方法来实现此目的,但是在Nginx中,它看起来像这样:

#time_iso8601如下所示:2016-08-10T14:53:00 + 01:00
if($ time_iso8601〜“^(\ d {4}) – (\ d {2}) – (\ d {2})”){
设定$ year $ 1;
设定$ month $ 2;
设定$ day $ 3;
}

</ span> access_log /var/log/nginx/$year-$month-$day-access.log;


这允许您通过简单地从与该期间相关的文件中拉取数据来查看任何特定日期或一组日期的日志。设置日志轮换后,我们可以设置一个脚本,我们将使用Cron在午夜运行一个脚本来拉取与昨天的数据相关的日志文件并进行分析。如果你想要,你可以每天看几次,或者每周一次,或者最适合您数据量级别的任何时间间隔。

下一个问题是:我们想要寻找什么?那么一旦我们有一天的日志,这就是我的网站seo优化系统报告:

30 *状态码

生成导致重定向的用户命中的所有页面的列表。如果链接到该资源的页面在您的站点上,请将其重定向到实际的终点。否则,请与您联系的任何人联系,并将其链接到应该去哪里。

404状态码

类似的故事 应检查任何404资源,以确保它们应该丢失。任何应该在那里的东西都可以调查为什么它不能解决,并且链接到任何实际缺失的东西可以像301/302代码一样对待。

50 *状态码

发生了一些不好的事情,如果你看到很多50 *的代码,那么你不会有一个美好的一天。您的服务器正在对特定资源或可能是整个站点的请求死亡,具体取决于这是多么糟糕。

检索预算

Google抓取的每个资源的列表,请求的次数,传输的字节数以及解决这些请求所花费的时间。将此与您的网站地图进行比较,以查找Google不会抓取的页面,或者它是锤击,并根据需要进行修复。

最高/最少请求的资源

与上述类似,但详细说明搜索引擎中最少和最少请求的内容。

坏演员

许多机器人寻找漏洞会对诸如wp_admin,wp_login,404s,config.php和其他类似的常见资源URL等要求提出请求。可以将对这些URL的重复请求的任何IP地址自动添加到IP黑名单。

模式匹配的网址报告

使用正则表达式可以将请求的URL与预定义的模式进行匹配,以报告您网站的特定区域或页面类型。例如,您可以报告图像请求,被调用的Javascript文件,分页,表单提交(通过查找POST请求),转义的片段,查询参数或其他任何内容。只要它在URL或HTTP请求中,您可以将其设置为要报告的段。

尖锐的搜索抓取行为

记录Googlebot每天提出的请求数。如果增加超过x%,那就是感兴趣的事情。作为一个附注,大多数系列中,定义极端异常值的计算不难创建,并且可能值得您的时间。

输出数据

根据任何特定部分的重要性,您可以通过几种方式将数据设置为记录。首先,大量的40 *和50 *状态代码或不良的演员请求值得触发电子邮件。这可以让您快速知道发生的事情,这可能表明一个大问题。您可以随时掌握可能的优先事项并将其解决。

整个数据也可以设置为通过仪表盘报告。如果日志中没有这么多数据,您可能只需要在运行时查询文件,并在每次查看时生成报告。另一方面,具有大量流量的站点和因此较大日志文件的站点可能希望将每天的输出缓存到单独的文件中,因此不必计算数据。显然,您使用的方法类型取决于您将要运行的规模以及服务器硬件的强大程度。

结论

感谢服务器日志和基本的脚本,没有理由你应该有一个情况,你的网站上的东西不好,你不知道。技术问题的主动通知是Google以更快的速度进行爬网的世界必不可少的事情,这意味着由于网站停机或数小时内出现错误,可能会降低您的排名。

设置适当的监控,确保你没有被抓住!

原文:https://moz.com/blog/automating-technical-reporting-for-seo

免责声明:文章翻译转载,若侵犯了您的权益,请联系我及时删除