网站日志分析教程-SEO之网站日志分析技能

什么是日志？

飞机的日志：黑匣子

电脑的日志：电脑管理-事件查看器-应用程序

关于网站的日志分析，这是SEO数据分析重点重要一环，好的SEOer能够通过网站的日志分析出来网站目前是否是健康的
，是否被人攻击。

网站日志分析有什么用？
1、重要的频道(大量流量着陆页面，高转化率，用户直接交易页面等)有更多的爬虫来抓取;
2、在爬虫一定的抓取时间内，尽量少花精力放在一些无用的噪音页面上(重复页面，低质量页面，空内容页面，404页

面，不排名页面，低转化页面等);
3、爬虫在抓取页面的时候，尽量增加抓取的有效性，而不是重复抓取几篇相同的页面;
4、爬虫不会被繁杂的URL参数所扰，不会进入无休止的爬虫陷阱中;
5、每个页面的下载时间足够的快，这样，可以让爬虫在时间一定的基础上能够更多的抓取页面;
6、爬虫都能够完整的抓到我们想让他抓的页面，不要抓到我们的隐私页面;
7、日志中不要有太多的404，不要有无理由的跳转，不要有很多的500(服务器错误),这样的情况出现;
8、那些更新频繁但是价值很低的页面不要吸引太多的爬虫精力;
9、我们所有的产品，所有的品类，所有一切有用的东西都要被爬虫完整爬到并且快速遍历;
10、能用碰到真正的爬虫，而不是一些模拟爬虫的机器人;
11、爬虫能够完整的下载到我们的robots.txt;
12、爬虫可以根据我们入口的调整，robots.txt的限制引导，JS的设计等按照我们的要求进行爬取;
13、爬虫越多越好。。。对我们的兴趣越大越好，当然，一切是在我们自身信任度和重要度增加的基础上。

网站日志分析需要从哪些维度进行分析

1、网站日志中的搜索引擎爬虫类型，以目前国内的搜索引擎时常看，从日志中可以看到的爬虫大体有:
百度蜘蛛（包括PC移动及渲染蜘蛛等，具体spider名称不做阐述，站长平台均有详细蜘蛛讲解）；
搜狗蜘蛛、360蜘蛛、神马蜘蛛、头条蜘蛛（具体spider名称不做阐述，站长平台均有详细蜘蛛讲解）；
各蜘蛛的抓取占比应与目前搜索引擎所占市场份额相差不大；需注意的是神马为移动端站长平台；

2、抓取链接
分析各个爬虫抓取链接的结构类型，例如目录页面还是详情页或者serch页面JS链接等；

分析各个类型抓取占比是否正常；
分析爬虫抓取链接的时间规律，比如百度，在哪个时间端的来访抓取量大，抓取时间线可了解；
分析访问链接与抓取链接的关联；

3、抓取量级
计算总抓取量级，各个爬虫抓取量级、各个链接类型抓取量级，是否在正常范围；

4、状态码
200、301、302、304、404、403、500、502等（根据抓取链接状态码分析网站是否正常等）

5、IP是否对应
是否存在伪爬虫IP段、是否存在采集、扫描、攻击等行为，将异常IP段及爬虫进行封禁；

6、新增抓取量
分析近期站内新生成链接的抓取占比、抓取次数等

常用网站日志分析工具

1、天眼日志分析系统
软件介绍：
天眼日志分析系统是中国推广学院推出的一套针对SEO日志分析软件，支持windows和linux等操作系统的日志分析。包

括对百度、谷歌、360和搜狗等搜索引擎蜘蛛爬行情况分析。另外软件独创网站安全分析，和IP黑名单功能。软件兼容

性强可以在本机和服务器系统直接运行。是目前国内出色的SEO日志分析系统。

2、爱站日志分析

软件介绍：
爱站日志分析工具是一款由爱站打造的日志分析软件，能帮助站长进行日志分析工作，即时监控蜘蛛访问状况，发现问

题，及时处理。此工具可以自动识别IIS、Apache、Nginx日志格式,支持直接拖拽日志一个或多个文件（夹）至窗口进

行分析，每一项数据都分别以“数据显示”和“图形显示”两种不同方式向用户展示数据结果。

爱站SEO工具包之网站日志分析工具使用方法
http://gongju.aizhan.com/course/32.html

网站日志分析工具视频教程 - 爱站seo工具包
http://gongju.aizhan.com/jc_7.html