搜尋引擎蜘蛛3個考核標準

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

搜尋引擎蜘蛛對搜尋引擎來說就是資訊來源所在，對於網站站長，總是希望網站對搜尋引擎蜘蛛友好，希望蜘蛛能在自己的網站多待會多抓取點網頁。 其實這些蜘蛛又何嘗不想多抓取點頁面，多更新點頁面呢，只不過互聯網資訊過於巨大，有時候蜘蛛也是力不能及。 這就引出了對搜尋引擎蜘蛛的一個考核，蜘蛛每天也是在苦逼的幹活的，也是需要考核評價的，其中有3個最主要的考核標準:抓取網頁覆蓋率、抓取網頁時效性及抓取網頁的重要性。

抓取網頁覆蓋率

對於現在的搜尋引擎來說，還沒有哪個搜尋引擎能抓取互聯網上出現的所有網頁，所有搜尋引擎只能索引互聯網的一部分而已，這裡就有一個概念——「暗網」，暗網是指目前搜尋引擎蜘蛛按照常規方式很難抓取到的互聯網頁面， 蜘蛛是依賴頁面中的連結發現新的頁面，進而抓取索引，但是很多頁面內容是以資料庫方式存儲的。 這樣蜘蛛很難或無法抓取這些資訊，結果就是使用者也無法在搜尋引擎搜索得到這些資訊。

抓取網頁覆蓋率指的是蜘蛛抓取的網頁數量占互聯網所有網頁數量的比例，很明顯，這個覆蓋率越高，搜尋引擎所能索引排名的數量級也就越大，能夠參與比較展現的搜尋結果也就越多，使用者搜索體驗也越好。 所以為了讓使用者在搜索時可以得到更精准、更全面的結果，提供抓取網頁覆蓋率至關重要，而除了抓取方式的提高，對暗網資料的抓取已成為各大搜尋引擎的重要研究方向。

由此可見，抓取網頁覆蓋率是考核搜尋引擎蜘蛛的一個關鍵標準，這是一個很大的基數，關乎到後面的索引量、排序量和展現量等，對於使用者搜索體驗至關重要。

抓取網頁時效性

說到使用者的搜索體驗，網頁的時效性相對覆蓋率句更加直觀了，比如你在搜尋結果搜索到了一個結果，當你點擊後頁面是不存在的，作何感想?搜尋引擎是在努力避免這些的，所以蜘蛛抓取網頁時效性同樣是一個重要考核點。 互聯網資訊比較多，蜘蛛抓取一輪需要較長的時間週期，這個時間內之前建立索引的很多網頁可能已經發生變化或者被刪除，這就導致搜尋結果中有一部分是過期的資料。

用一句話就是蜘蛛不能在網頁變化後第一時間將這些變化反映到網頁庫中，這樣問題就來了，首先比如頁面只是內容發生變化，搜尋引擎不能及時的去重新比較這些變化，給予使用者更合理的排名。 其次，如果排在搜尋結果前面的頁面已經被刪除了，由於沒有及時抓取更新，還排在重要位置，那麼無疑對使用者是一種傷害。 最後，很多人會在頁面收錄後另外加一些不好的資訊，這樣用之前的排名展現現在的資訊，下次蜘蛛更新才會處理。

所以對於搜尋引擎而言，肯定是希望資料庫內網頁能及時更新的，網頁庫過期的資料越少，則網頁的時效性越好，這對使用者體驗的作用不言而喻。

抓取網頁的重要性

蜘蛛抓取了很多內容，也及時更新了，但如果抓取的都是一些低品質內容，那肯定是不行的。 儘管要多抓勤抓，但是每個網頁重要性差異很大，這就是矛盾的地方，搜尋引擎蜘蛛不僅要幹得多、幹得快、還要幹得好。 所以必然會優先照顧部分能經常提供高品質內容的網站，特別是定時定量更新的，這樣才能最大程度上保證優質內容不被漏掉，這也可以說是沒辦法的辦法。 如果搜尋引擎蜘蛛抓回的網頁大都是比較重要的網頁，則可說其在抓取網頁重要性方面做得很好。

總而言之，目前的搜尋引擎蜘蛛由於種種原因限制，只能抓取互聯網部分網頁的，所以在努力抓取盡可能多頁面的同時會盡可能選擇比較重要的那部分頁面來索引，而對於己經抓取到的網頁，也會盡可能快地更新其內容。 注意所有的這些都是盡可能而已，所以這是各大搜尋引擎努力的方向。 如果這3個方面都做得好，搜尋引擎使用者體驗肯定會更好。

寫在最後

搜尋引擎對於以上3個標準一直在做努力，同時也號召站長一起進行，比如百度站長平臺的資料提交就能很好的擴大百度蜘蛛抓取覆蓋率，再比如百度鼓勵站長對網頁進行提交或直接提交sitemap，這也為蜘蛛的抓取更新提供便利。 搜尋引擎蜘蛛工作比較累，要幹得多，還要幹得快，更要幹得好，一點都不容易。 所以網站站長首先就應該讓網站連結路徑便於抓取，結構扁平，讓蜘蛛在有限的時間能抓取更多的東西，讓蜘蛛在你的網站能幹得多而且幹得快，同時有規律的更新高品質內容，讓蜘蛛在你這能幹得好，這樣久而久之，蜘蛛在你的網站就會幹得更多、 幹得更快、幹得更好，因為它需要。 如果網站結構混亂，總是更新垃圾內容或不更新，那蜘蛛也只能走走停停了，因為它也要幹活。

文章源自木木SEO博客：HTTP://blog.sina.com.cn/mumuhouzi 微信公眾號：mumuseo