解決因伺服器而導致的蜘蛛抓取失敗

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

伺服器是網站生存的基礎，不論是什麼原因造成的伺服器封禁，都直接影響蜘蛛的抓取，影響網站的使用者體驗，不利於seo工作的展開。 重慶seo奕杉其將以自己的親身經歷，結合網路上一些朋友對這類問題的分析，總結出造成伺服器封禁的三點主要原因：

一、伺服器不穩定

現在的伺服器多如牛毛，價格也各不相同，品質方面也是相差甚遠，站長們往往在選擇的時候都是「只認價不認質」， 有的空間商為了節省資源，故意遮罩掉spider(蜘蛛)的IP，導致spider抓取失敗，網站頁面就無法被搜尋引擎收錄。

解決方法：選擇有實力的正規空間商，盡可能保證您的網站穩定。 伺服器和空間的穩定性需要一定的技術實力來保障，一些沒有實力的空間商，可能無力提供良好的服務，服務的穩定性無法保證。 我們可以很形像的打個比喻：如果將「人」比喻為網站內容，那麼伺服器就是我們的「家」，它為我們擋風避雨，為我們的生存提供了一個優良的環境，而伺服器的好壞將影響我們所能承受的風險。 我想，誰都不願意住在沒有安全保障的屋子裡，拿自己的生命開玩笑，同理，網站也是如此!如果您現在的伺服器不理想，有必要另選時，請暫時讓舊伺服器能夠使用一段時間，並且做301跳轉，儘量減少更換伺服器帶來的一系列損失。

二、人為操作失誤

對搜尋引擎蜘蛛認識不夠，對一些冒充搜尋引擎spider的IP無法正確判斷，繼而誤封搜尋引擎IP。 這樣會導致搜尋引擎不能成功抓取網站，無法成功抓取新網頁，以及將之前已經成功抓取並收錄的頁面判定為無效連結，然後搜尋引擎將會對這些死連結進行清除，繼而網站頁面收錄減少，最終導致網站在搜尋引擎的排名下降。

解決方法：正確認識各搜尋引擎蜘蛛，而搜尋引擎使用的 IP 位址會隨時發生變化，為確保能夠正確識別各搜尋引擎IP，您可以使用DNS反查方式來確定抓取來源的IP是否屬於正規搜尋引擎，防止誤封。

例如查Baiduspider：在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Baiduspide的抓取。 Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

$ host 123.125.66.120

120.66.125.123.in-addr.arpa domain name pointer

baiduspider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254

254.195.63.119.in-addr.arpa domain name pointer

BaiduMobaider-119-63-195-254.crawl.baidu.jp.

三、保護性的偶然封禁。

1、如果網站的訪問量過大，超過自身負荷，伺服器會根據自身負荷進行保護性的偶然封禁。 這種封禁是短暫性的，只要訪問量下降到伺服器的承受範圍之內，那麼伺服器就會正常工作。

2、還有一種情況是spider造成的，搜尋引擎為了達到對目標資源較好的檢索效果，蜘蛛需要對您的網站保持一定量的抓取。 搜尋引擎會根據伺服器承受能力，網站品質，網站更新等綜合因素來進行調整， 建立一個合理的網站抓取壓力。 但是會有一些例外，在壓力控制不好的情況下，伺服器會根據自身負荷進行保護性的偶然封禁。

解決方法：1、如果是訪問量造成的壓力，那麼恭喜你，說明你的網站已經擁有可觀的訪問人數，我們就應該升級伺服器，來滿足不段增長的訪問量。 2、如果是spider造成的，我們可以採用如下方式來減輕spider對伺服器產生的壓力：A、利用robots檔，遮罩掉不想被spider抓取的頁面。 B、採用nofollow標籤，遮罩不想被spider爬行的連結。 C、頁面中較長的CSS、JS代碼移到外部檔。 D、刪減多餘代碼。 應當注意的是，以上兩種情況在返回的代碼中儘量不要使用404，建議返回503(其含義是「Service Unavailable」)。 這樣spider會過段時間再來嘗試抓取這個連結，如果那個時間網站空閒，那它就會被成功抓取了。

最後，希望站長儘量保持網站的穩定，對於暫時不想被搜尋引擎抓取的頁面，使用正確的返回碼告知搜尋引擎，如果確實不想被搜尋引擎抓取或者索引，可以寫robots資訊告知。

作者：奕杉其

來源：重慶seo

文章連結：本文來自HTTP://www.137sv.com/seotechnique/27.html轉載請注明來源，並保留來源的完整性，謝謝。