蜘蛛不訪問網站的原因 你是否清楚？

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

相信很多站長同小編一樣，每天都有查看網站日誌的習慣，然後通過日誌的分析來瞭解蜘蛛在我們網站爬行抓取的狀況，當然在這個過程中小編通常只是簡單的看一下蜘蛛每天爬行我網站的次數，從這點就能夠直觀的看出網站的健康情況， 但是在對於很多站長而言，他們的網站自我感覺非常的完美，但是蜘蛛確不爬行抓取，這無疑對站長們有很大的打擊，所以今天小編特地整理了一些蜘蛛不訪問我們網站的幾點原因，下面來分享給大家。

(一)網站flash、圖片過多。

不得不說，各大搜尋引擎發展到現在，已經算是相當的智慧化了，特別是近些年來各大搜尋引擎不斷更新演算法，就例如說在2011年的時候谷歌推出的圖片搜索功能，我們能夠從這些圖片中找到源網頁的位址，但是畢竟是搜尋引擎， 他還是有著不小的差距。 然而在這時候很多站長，特別是企業站，為了突出產品，在網站中鑲入大量的flash、圖片，但是大家都知道搜尋引擎蜘蛛是無法抓取flash、和圖片檔的，所以即便是我們的內容在好，也都是無法讓蜘蛛抓取爬行的。 所以對於那些網站中存在大量圖片以及flash的網站，小編建議各位用一些類比蜘蛛爬行的工具檢測一下自己的網站，看看是否是因為此情況造成蜘蛛不訪問我們的網站。

(二)網站存在大量的死連結。

我們幻想一下，每當蜘蛛開開心心的訪問我們的網站的時候，通過源碼爬行我們網站各個連結的時候，本以為能夠找到一些新鮮的好內容，然而卻是一大堆的死連結等待著它，就這樣一次、兩次、三次，每次來都有這樣的情況出現， 那麼你認為蜘蛛會對你的網站有一個好的評價，還會再次的抓取你網站的內容嗎? 就像我網站www.qqya.cc當時就是因為大量的404頁面被蜘蛛抓取，造成那一段網站內容不被搜尋引擎收錄，所以後來小編在觀察網站日誌中發現蜘蛛爬行的頁面中含有有狀態碼為404的頁面才恍然大悟，所以也立即的對這些404頁面進行清除 、遮罩，並且在那段時間發了不少的外鏈，後來網站蜘蛛爬行抓取也都正常了。

(三)網站外鏈與nofollow標籤。

蜘蛛能夠經常的訪問我們網站的原因，相信很大一部分都是外鏈吸引的，所以對於外鏈的友好程度，我們也是需要經常觀察的，以免做了徒勞。 相信很多站長這時候應該會問了，為什麼這樣講，怎麼判斷外鏈的友好程度呢?在這裡小編是這樣做的，每天檢查蜘蛛訪問我們網站的次數之外，還要檢查蜘蛛的入口，通過這些入口來判斷我們做的外鏈是否是有價值的，這樣每天進行一個總結， 把有效的外鏈記錄下來，那麼時間一久就打造了我們自己的外鏈資源庫咯，當然從這些資料中我們也可以判斷出那些是無用的外鏈，就例如說帶有nofollow標籤的外鏈(如百度經驗)對於這種的話我們就以後不要在做，因為做了也是徒勞哈。

(四)網站中存在複雜的代碼以結構。

大家都知道，蜘蛛是通過網站的原始檔案代碼來進行訪問我們的網站，所以這時候我們就需要優化我們的網站代碼，因為冗長的代碼對網站無任何意義，並且還會影響到我們網站的打開速度，並且還會讓蜘蛛反感。 另外就是對於那些結構也是不利於蜘蛛爬行的抓取的，因為通常蜘蛛是首先訪問我們的網站首頁，然後到抓取欄目，在抓取內容這樣的活動規律，然而這樣的活動次數通常也都是被蜘蛛限定在3次以內，所以過於複雜，而且權重又不高的網站， 是很不利於蜘蛛抓取的哦。

(五)錯誤的網站地圖。

網站地圖是讓蜘蛛快速瞭解我們網站整個結構的一個頁面，那麼一個好的網站地圖，會為蜘蛛爬行帶來一個快捷的入口。 當然如果是一個存在大量死鏈的錯誤地圖的話，無疑也會毀了整個網站的爬行狀態，所以我們在做網站的地圖的時候一定要謹慎行事。

總結：其實蜘蛛不訪問我們網站原因除了小編上面提到的之外，還有很多別的原因，例如說違法的內容、大量採集來的內容、黃色惡意資訊等等都是有可能造成我們網站不被搜尋引擎蜘蛛抓取的，所以具體的細節性問題， 我們還要根據自己的網站日誌來自行進行判斷。 今天就寫到這裡，本文由HTTP://www.name2012.com/遊戲名字網站長原創分享，轉載請帶上連結，謝謝。