談從iis日誌中探尋搜尋引擎蜘蛛活動痕跡

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

在網站的優化過程中個並不是說所有的網站問題都可以直接從站長工具上得到資訊，往往站長工具上得到的資訊都是在網站出現問題後才能察覺到。 作為一名SEOer，我們更需要學會網站的隱性資訊。 例如，這幾天做的外鏈效果怎樣?我們的內容那些方面更加容易受到搜尋引擎蜘蛛的喜愛?搜尋引擎蜘蛛對於我們網站的爬行積極度如何?等等，這些都是隱藏在網站內容部的一些關鍵資訊。 這些資訊通過站長工具我們很難分析。 而這些資訊恰恰可以從我們的網站IIS日誌上找到答案。

一：為何IIS日誌在分析網站隱性資訊中如此重要

1：借由該日記記錄我們可以更加清楚的分析搜尋引擎蜘蛛在網站上的爬行資訊，這些資訊包含有蜘蛛的爬行路線以及爬行深度。 通過這一些資料資訊，我們可以分析近期我們建設的外鏈效果如何。 因為我們知道外鏈就像是引導蜘蛛爬行的蜘蛛絲，如果外鏈建設的好的話，蜘蛛爬行的自然而然頻繁，而且我們可以記錄下從哪一個「入口」進入蜘蛛的頻率高。

2：網站的內容更新與蜘蛛爬行存在一定的關係，一般只要我們更新穩定頻繁，蜘蛛的就會爬行得更加的勤。 對此我們可以借助日誌中的蜘蛛來訪頻率對網站內容的更新頻率做一個細調。

3：通過日誌我們可以發現空間存在的一些故障，這些故障可能是一些站長工具無法察覺到的。 就比如近階段很火的美橙空間因為技術員誤操作導致空間遮罩了百度了蜘蛛事件，假如站長們事先分析一下分析一下空間日誌，或許可以發現這一錯誤。

二：如何獲得日誌檔以及應注意的事項

1：要獲得該日誌檔我們的空間需要有iis日誌記錄的功能，假如我們的空間有這一功能的話，一般該日誌檔會記錄在weblog資料夾中，我們可以直接從這一資料夾中下載我們網站的日誌檔。

2：在使用這一功能時我們需要注意日誌的生成時間設置，筆者的建議是如果網站是一個小型的網站可以讓它一天生成一次，假如是比較大的網站我們可以讓其每小時更新，以免生成的檔出現過大的情況。

三：如何分析解讀蜘蛛行為

我們可以記事本的方式打開我們網站的日誌檔，使用記事本的搜索功能搜索百度和谷歌的蜘蛛，分別是BaiduSpider和Googlebot 。

百度蜘蛛

谷歌蜘蛛

我們可以分段進行分析：

2012-04-5 00:47:10 是在這一個事件點蜘蛛爬進了我們的網站

116.255.109.63 這個ip是指我們的網站

GET緊跟其後的就是蜘蛛爬行的頁面，從這邊我們可以瞭解近期我們的什麼頁面被爬行過。。

220.187.51.144 這一IP搜尋引擎蜘蛛的ip位址，當然這邊就可能會出現真假兩種位址。 那麼我們要如何識別這一個位址是真的蜘蛛還是偽裝的呢?筆者本文就分享自己的一個小方法，我們可以打開命令視窗，在視窗中執行nslookup+這一個所謂蜘蛛的位址。 加入是貨真價實的蜘蛛，那麼就會有自己的伺服器，反之則是無法找到資訊。

真蜘蛛

假蜘蛛

那麼為什麼日誌中會有偽造的蜘蛛呢?原因就是有其他網站偽造成假蜘蛛來爬行抓取你的網站內容。 如果任由這些假蜘蛛橫行的話，會對網站的伺服器消耗造成一定的影響。 對此我們可以使用這個方法找到並遮罩他們，當然我們還需要細心處理，否則把真蜘蛛拒之門外就不好了。

200 0 0代表的是網頁正常的狀態碼，當然還有其他不同數值的狀態碼，如500表示伺服器超時等等。 我們可以借由這些狀態碼來分析網站空間近來的表現情況。

我們可以分析日誌檔中蜘蛛最常光顧的幾個頁面，記錄下來，並且找到為何會受到蜘蛛青睞的內外部原因。

作為站長大多數人可能比較熟悉那些直觀的資料如流量、收錄、反鏈等的分析，對於日誌檔的分析可能較為生疏。 但是日誌對於網站卻至關重要，希望本文能夠説明大家更好的分析日誌檔。 本文來自三面翻HTTP://www.sanmianfans.com ，轉載請保留出處。