淺談搜尋引擎日誌分析

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

對於網站優化來說，搜尋引擎日誌分析是必不可少的一塊，無論你是收錄上百的小型網站，還是收錄上百萬的大中型網站，SEO要想做得好，都必需進行科學的日誌分析，日誌是發生在網站伺服器上的所有事件的記錄，包括使用者訪問記錄， 搜尋引擎抓取記錄，對於一些大型網站來說，每天的日誌都有好幾個G大小的，我們可以使用linux命令去進行分離的，在大型網站日誌檔往往是機密檔，一般人是看不到的，因為從日誌裡邊可以分析訪客趨勢、地區趨勢等， 我們做SEO的不需要那麼多資料，我們只要分析搜尋引擎的抓取記錄這一塊就可以了，所以再大的資料量，如果經過處理後，也就不會特別大了，況且現在的硬碟這麼便宜，存儲日誌檔還是可以考慮的。 那麼我們主要分析日誌的什麼資料呢?

1、每個搜尋引擎的總體抓取量(以及趨勢)

在日誌檔中，明確的記錄了每個搜尋引擎的抓取量，例如百度、谷歌、搜狗等搜尋引擎的抓取記錄，我們都可以進行記錄，使用DOS命令或者Linux命令都可以去實現的，搜尋引擎的收錄是由抓取量以及文章品質來決定的， 當文章品質不變的情況下，蜘蛛抓取量越大，那麼收錄的就會越多，我們在進行日誌分析 時候，一定要清楚的知道蜘蛛每天的抓取量到底是一個什麼情況，而且每天都要記錄，也許絕對值說明不了什麼，我們可以去看它的趨勢， 當某一天抓取量的趨勢在下降時，我們就要去找原因了。

2、記錄搜尋引擎蜘蛛的不重複抓取量

上一步我們把蜘蛛的抓取量資料給分析出來了，然後我們要進行去重，也就是搜尋引擎的唯一不重複抓取量，其實對於收錄來說，許多頁面只要抓取一次就可以了，可是在實際操作的過程當中，許多頁面都是被重複抓取的，谷歌的技術比較先進一些， 重複抓取率也許會低一些，可是百度等搜尋引擎，重複抓取率卻非常高，你通過日誌分析就可以看出來了，一天如果抓取量上百萬，可能好幾萬次都是抓取首頁的，所以許多資料你一定要去分析的，當你分析了後，你才會知道問題的嚴重性。

3、每個目錄、每個搜尋引擎的抓取量

上邊兩步把總體抓取量、不重複抓取量記錄下來了，然後我們要分析出每個搜尋引擎對每一個目錄的抓取情況是怎麼樣的，這樣利於進行分塊優化，例如當你網站流量上升時，你可以知道是哪個目錄的流量上升了，然後再往下推， 看看是哪個目錄的抓取量上升了，哪個目錄的抓取量下降了，為什麼下降，都可以進行分析的，然後在網站中進行適當的連結結構調整，例如使用nofollow標籤等。

4、統計搜尋引擎抓取的狀態碼

當搜尋引擎抓取了你的頁面後，不但抓取了你的內容，而且還會有一個抓取返回碼的，這些返回碼我們要記錄下來，特別是一些類似301、404、500等這些狀態碼，我們從這些狀態碼中我們找出網站的一些潛在的問題， 例如為什麼會出現很多404頁面，是程式原因，還是搜尋引擎在抓取外鏈的時候提取錯誤，其實我們可以在谷歌管理員工具中看到這些資料的，裡邊還會提示你的錯誤的404頁面出現在哪裡，對於一些301狀態碼我們也要注意了， 看下這些301是不是按照我們所希望的那樣跳轉的，網站中要儘量的少用跳轉，頁面在跳轉的時候，往往會延長頁面的載入時間，最常見的301可能就是網頁URL不帶"/"的跳轉到帶「/」的情況了，我們在網站中， 要儘量的避免出現這樣的情況。

5、統計搜尋引擎蜘蛛來的次數、來的時間

我們可以使用一些日誌分析工具，設定一個標準，例如光年日誌分析工具，可以統計出每個搜尋引擎蜘蛛每天來的次數，一天一共在我們網站停留了多久，有沒有IP蜘蛛一天24小時都在我們網站不停的抓取，這樣的蜘蛛越多越好， 往往是你網站權重提升的表現。 這樣的資料可以每天都記錄下來，在一定的時間段內，進行對比分析，看看停留的時間是不是增加了，來的次數是不是增多了，這樣可以判斷出網站權重是上升還是下降。

　　當然可以從日誌裡邊看出的SEO指導資料還有很多，這裡我暫時辦列舉出這麼多，希望能夠起到一個抛磚引玉的作用，大家可以往下思考，進行延申，在平時的SEO資料分析工作中，一定要養成分析日誌的習慣，平時如果有時間， 可以多看看日誌檔，例如可以去大概的看下搜尋引擎蜘蛛在你頁面上的抓取軌跡，看看有什麼規律，這對你日後的SEO工作都非常用説明的。 以上內容由www.jieyitongcy.com 捷易通自動充值軟體在admin5首發,轉載請保留網址，謝謝!