泛泛而谈的seo优化，网站优化，页面的优化布局和分析，无不在我们SEOer的头脑中形成了一种意识，网站的排名是我们SEOer最为关注的事情了。平时我们经常说的多的就是通过分析百度相关域和收录、yahoo反向链接以及PR等等来分析我们网站的权重和网站的好坏。如果是我们的网站出了什么问题，我们做站长的最关心的也就是我们的网站的收录、相关域以及反向链接的变化，在这里我要和大家分享的是IIS日志的分析，下面简单的由我来分析下如何通过IIS日志来跟踪分析搜索引擎蜘蛛。
IIs(internet information services)日志是我们每个网站都具有的功能，只是我们大部分的站长都不怎么去关心它，还有部分站长用的空间或许没有IIs日志功能，这就需要你去找你的服务器提供商来帮你开通IIS日志功能，只有我们的空间有了这样一个功能后，蜘蛛来到我们的网站了与服务器的对话才会被记录到IIs日志里面，我们通过分析IIS日志就可以知道蜘蛛来我们网站做了什么，爬取和收录了我们的哪些页面，包括蜘蛛来我们网站的爬取次数和地址，哪些是蜘蛛喜欢爬取的，哪些是蜘蛛不喜欢的或者说是无法爬取到的页面，知道这些了我们就能针对蜘蛛爬取的动向来更好的分析和优化我们的网站页面，更清楚我们网站在搜索引擎的动态，那么我们怎么去分析IIS日志?
在IIS日志里面找了这样一段代码61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])" 通过这一段代码来分析蜘蛛的爬取情况。
第一，我们要知道蜘蛛的名称，有哪些蜘蛛会来我们的网站爬取，这里列出几个比较常见的蜘蛛名，百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider在日志文件里，搜索以上蜘蛛名称。就可以看到蜘蛛抓取的痕迹。
第二，查看蜘蛛的IP地址，这个没多大用处，我们知道就行，IP地址就像平时我们用手机给你的朋友打电话的时候一样，你给你的朋友打电话的同时，你朋友的手机上就会显示你的手机号码是同一个道理，蜘蛛也是一样，它来到了你的网站就会用一个IP来显示它的“手机号码”。
第三，蜘蛛来我们页面的访问时间，上面的一段代码[11/Jan/2009:04:02:45 +0800]就告诉我们蜘蛛通过80端口在2009年8月11日04时02分45秒的时候来访问了我们的页面。
第四，蜘蛛来到了我们的哪些页面，GET /bbs/thread-7303-1-1.html 是蜘蛛来我们的网站到达的页面。
第五，蜘蛛访问了我们的网站，是否就一定访问成功和下载收录我们的页面，200 8450就代表蜘蛛访问成功并收录下载了这个大小为8450的页面，这里的200的意思就是说明访问成功，但不一定就会收录我们的页面，说到了200，那么有人就会问，那还有像301，302，304，400，404，500，503等等一些这样的http状态码又是些什么东西呢?
200：页面访问成功但不一定会收录下载
301：资源永久重定向
302：资源临时重定向
304：页面未更新，蜘蛛来到了我们的这个页面后发现这个页面我以前来过，这次再来的时候发现这人页面里面的内容完全是和第一次来的时候一样的，IIS日志里面就会返回大量的304。
404：访问的这个链接是错误链接。这个错误链接，一方面来自原本存在后来删除了网页，另一方面可能来自本来就不存在，但其他人外链了这么个死链接。
至于400，500，503就都是服务器的问题了，和我们本身的页面是没有任何关系的。
以上五点就是我们经常见到的的IIS日志分析情况，通过分析这样的IIS日志代码就可以清楚的知道我们网站有哪些方面是做的不好的，哪些页面是做的非常的好的，这样分析后就可以更方便的来优化我们的网站，提高我们网站的转换率。
发表回复