小議SEO的資料分析：如何改善網站收錄

　　距離上一篇SEO的資料分析已經過了好久了，最近覺得應該寫一些實際點的內容看看SEO到底怎麼做。 先明確一些基本點，一個網頁被收錄與否，有兩個因素

　　是否被爬蟲爬過

　　頁面品質是否過關

　　上一篇文章已經提過了收錄率這麼一個指標，很多網站都懶得去做這個指標，“我看看site的資料不就行了!”，事實上沒有這個指標，很多工作就無從下手。從資料中找出問題，利用資料指導解決方案，分析資料驗證工作成果。 最近看了《深入淺出資料分析》這個本，覺得不錯，把資料分析的方法講得很生動，建議有興趣的從事資料分析的同學可以買本看看。 任何資料分析由，目標->分析->評估->決策，四個環節組成。

　　目標：我們想看一下網站的收錄情況如何，在SEO方面是否還有提高的機會。

　　分析：收錄情況什麼算好什麼算壞，是不是用一些指標來衡量?網站的收錄情況是不是過於籠統，是不是應該細分下各個頁面的收錄情況?

　　評估：於是我們需要下面一些資料

　　網站的頁面層級關係

　　

 

　　各個層級頁面帶來的SEO流量

　　各個層級頁面的收錄情況如何

　　

 

　　SEO流量的佔比可以從Google Analytics中過濾出來。

　　頁面數量可以從資料庫獲得，或者通過火車頭or自製小指令碼抓取統計。

　　收錄率可以將擷取的頁面通過工具進行搜尋，火車頭也可以。

　　這邊廣告下zero的工具:http://www.gnbase.com/forum.php?mod=viewthread&tid=11468&highlight=%CA%D5%C2%BC%B2%E9%D1%AF

　　問題立馬凸顯!

　　1+2級目錄頁帶來了大量的流量，收錄率不是很好，最佳化收錄的流量提升突破口在此!

　　

 

　　產品頁面數量很多，收錄也不是很理想，但是帶來的流量有限，除了收錄問題，還有頁面內容的問題，本文中先不管它了。

　　決策：我們的結論是立刻展開行動對目錄頁面進行收錄的最佳化。

　　看到這邊，似乎剛開始的目標：“通過最佳化收錄提升流量”

　　演變成了新的目標：“如何提高目錄頁面的收錄量”

　　這邊能不能再次通過資料分析的方法進行SEO呢?

　　答案是肯定的!

　　我們再來重新走一遍 目標->分析->評估->決策 的過程

　　目標：提高目錄頁面的收錄量

　　分析：通過本文開始的有關收錄的兩個因素，我們需要檢查一下，網頁是否被爬蟲爬行過，網頁的品質是不是過關。

　　1. 關於爬蟲的情況，我們需要分析日誌，才能確定。於是我們從日誌中拆分一系列資料看看頁面是否真的被爬行過。

　　2. 由於頁面品質似乎是一個很難衡量的值，於是我們可以用相同模板下的：

　　已被爬行的頁面數量/已被爬行並且被收錄頁面數量

　　來評估該模板頁面品質對收錄的影響大小。如果被爬的頁面都被收錄了，那至少說明這套頁面的內容搜尋引擎還算認可。(實際情況遠比這個複雜，而且收錄後也有可能因為品質問題被刪除，但總比什麼參照都沒有要好，對吧!)

　　評估：(敏感資訊用編號代替，均為真實資料)

　　先看一下爬蟲日誌的情況，通過Shell指令碼，我們可以分析出。

　　目錄總計被爬行的次數為13000次左右

　　不重複的目錄爬行次數為5500次左右

　　頻道A下的目錄幾乎被100%抓取過至少1次，頻道B的目錄抓取也不錯，有70%被至少抓過一次。

　　其餘頻道下的目錄被抓取的覆蓋率不到30%

　　

 

　　不要覺得這個結果很神奇，其實很多網站都會面對這樣的糟糕問題，只要你把資料不斷的細分，細分，再細分，總會觀察出一些端倪的。

　　關於日誌分析，不要迷信任何的日誌分析軟體，那都是給懶人用的，自製指令碼+Excel才是王道，可以拆分顯示出任何你想要的資料，當然，甚至可以連Excel都不要。

　　然後，我們統計了一下被抓得最頻繁的頻道A和頻道B，目錄頁的收錄率

　　

 

　　頻道A和B是很讓人放心的，說明頁面品質沒問題，但是餘下的收錄情況就讓人比較擔心了。

　　決策：通過上面的資料評估，我們已經得到了如下結論。

　　頁面品質並不是影響收錄的原因。

　　頻道A，B的抓取量異常的高，通過調查瞭解，原來是首頁上的目錄頁，顯示的全是頻道A下的目錄頁，首頁又擁有全站最高的權重。頻道B擁有比其他頻道強大的外鏈資源，權重也非常高。

　　除了A, B頻道，其他頻道的抓取情況不容樂觀，抓取入口太少，太深，進而影響了收錄情況。

　　很明顯，現在頻道A從站內的角度來說太強大了，必須進行一些“劫富濟貧”的運動來降低頻道A的抓取量，轉移到其他頻道中去。同時，需要給爬蟲提供更多的入口抓取頻道頁。

　　現在問題變得清晰起來，我們開始把工作分成兩部分：1.提供更多的入口 2.將資源平分給各頻道而不是集中在少數幾個頻道上。

　　提供入口工作：

　　1.把目錄頁的URL製作成sitemap。提交給搜尋引擎，並且將其設定為比較高的抓取權重。

　　2.完善麵包屑導航，將麵包屑導航劃分得更加細緻，以提供更多入口

　　3.在其他產品中推薦目錄頁

　　資源平分工作：(一些概念：任意頁面都有可能成為爬蟲入口，百度爬蟲抓取深度有限，頁面相對入口越淺，被抓取的機率越高。)

　　1.原先首頁指向的都是頻道A的目錄頁+產品頁，將其全部nofollow，確保從首頁進入的爬蟲，全部抓取到頻道頁，通過頻道頁再進入目錄頁(其實這個不算太重要)

　　2.原先頻道頁指向自身的產品頁，將其全部nofollow(確保從頻道頁入口的爬蟲，最大程度的抓取目錄頁)

　　3.從目錄頁返回到首頁的連結，將其全部nofollow。

　　4.減少一些頁面上無關連結。(什麼情況下這麼做都是非常有效。)

　　現在可以開始動手了。。

　　成果

　　這麼做到底有什麼效果呢，我們來看看修改後1個月後的資料。

　　

 

　　目錄頁的收錄率提高了100%!

　　產品頁的收錄率也有一定程度的提高，這是歸功於目錄頁對於產品的良好展現。

　　目錄頁的SEO表現：

　　SEO流量佔比上升了15%

　　增長10%的到訪關鍵詞數量(新頁面的收錄)

　　SEO流量增長了50%以上。(包含一些季節因素)

　　備忘：

　　1.除了收錄，排名也是問題，可以同步關注。

　　2.對於頻道A這樣特殊情況，甚至可以對其進行全屏蔽，但是技術上實現起來會略微麻煩。

　　3.百度對nofollow的支援據說很混亂，有認識百度內部人士可以幫忙問一下。

　　4.有問題可以留言~

　　作者：夜息 http://www.imyexi.com/?p=575 歡迎轉載，請保留出處