從日誌看搜尋引擎訪問網站的真相

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

平時對網站做優化都非常注重網站的資料，比如收錄、快照和排名。 尤其對於大型網站，很多都存在收錄不理想的問題，這個時候就不能僅僅看表面的資料判斷出現這種問題的原因，而是應該深入一層，通過網站日誌，查看搜尋引擎蜘蛛對網站訪問的具體情況來找到一些答案。 我平時分析網站的時候，也非常注重從日誌查看問題，一般都能找到問題的根源。 今天與大家分享一下自己的方法和思路，希望多交流。

查看搜尋引擎蜘蛛爬行總次數

一個網站的收錄首先要搜尋引擎蜘蛛來到網站爬去才能夠實現。 通過查看日誌能夠清楚的看到每天蜘蛛訪問網站的總次數有多少，從而大致的判斷網站的權重如何。 一個高權重的網站，蜘蛛來訪的次數相對是較多的，相反，一個低權重的網站，即使有非常龐大規模的內容，蜘蛛來訪的次數依舊有限。 爬行次數有限，分配的時間和深度也就有限，所以收錄也就受到了限制。 所以我們的重點就是多提供百度來訪我們網站的入口，只有入口多了，訪問次數才能得到提升。

查看所有被爬行目錄的整體情況

通過日誌查看所有被爬行目錄的整體情況，能讓我們知道搜尋引擎爬行最多的目錄是哪些，是否是我們想要提供給使用者的目錄。 一般可以非常清楚的看到排名前十位的目錄，如果這些目錄並不是我們重點提供給使用者內容的目錄，那麼就需要做出調整，說明當前的一些目錄被多度爬行了，而真正有價值的目錄沒有被搜尋引擎過度重視，要及時發現並找到原因。

查看爬行榜前十名的頁面情況

除了查看蜘蛛總訪問次數以及爬行目錄的整體情況，剩下一個非常重要的就是查看爬行總頁面的情況。 我平時分析網站的時候，時常會看到，被蜘蛛爬行前幾名的頁面都是一些無關緊要的頁面，比如B2C購物車連結頁面、比如聯繫我們頁面、一些主題中CSS檔，這些頁面和檔對排名和收錄本來沒有實際的説明，但現實情況是蜘蛛爬行的最多， 所以就會造成浪費，畢竟蜘蛛來訪一個網站的總時間和總爬行次數是一定的，總抓取深度也是一定的，如果時間都浪費在了這些頁面上，那麼對於重點的內頁收錄就會受到影響。 因此通過日誌發現之後，就需要在robots.txt中遮罩掉，或者在頁面meta中遮罩掉。

查看平均爬行一次的抓取深度

通過日誌查看平均一次的抓取深度能有效的瞭解到網站內部結構的不足。 比如百度蜘蛛在某天訪問網站總共818次，抓取量是978，那麼平均每次抓取的頁面數就為1.2頁。 其實這個資料也是普遍存在的現象，很多網站都存在這樣的現象。 這充分說明瞭網站的內部連結做的不足，或者網站結構存在問題，或者是內容出現了高度重複現象，導致蜘蛛來到網站，要麼沒有什麼新發現，要麼被結構所阻止，爬行不到新的頁面。 畢竟，蜘蛛平均在我們網站存在的整體時間是有限的，在這個有限的時間內，如果我們自己設置了障礙，那麼蜘蛛就會走掉，是非常可惜的事情。

通過以上幾點的說明，就能看到搜尋引擎對我們網站訪問的整體情況，瞭解了這些情況，在下一步的優化過程中就非常具有針對性。 如果不通過日誌，那麼很多問題就只能看到表面現象，就會出現猜測是的結論，可能對網站起不到對症下藥的作用。 希望這篇文章能讓更多的站長受益。 好了，本文就到這裡，由網頁遊戲排行榜供稿，網址：HTTP://www.2763.net，轉載請保留連結，謝謝!