避免讓網站進入蜘蛛陷阱的方法

摘要： 站長們會考慮要如何給網站優化，往往有時網站在設計過程中，用到的一些技術方法不合理，這些方法又會影響到蜘蛛的抓取，對於這樣的技術手段，我們要如何去避免，不讓網站進入

站長們會考慮要如何給網站優化，往往有時網站在設計過程中，用到的一些技術方法不合理，這些方法又會影響到蜘蛛的抓取，對於這樣的技術手段，我們要如何去避免，不讓網站進入陷進。 網站的設計過程中，要儘量避免對搜尋引擎不友好的，提高網站的蜘蛛爬行速率，提高網站整體效果。

首先：避免flash。 很多圖片網站或是產品網站，需要用到flash的動畫，動畫產生的效果的確是可以提高使用者體驗，使用者是可以讀懂flash，但是對於蜘蛛來說是無法識別的，蜘蛛只能抓取html裡面的代碼，對於flash裡面的文字資訊是無法抓取的， 也無法呈現給搜索使用者。 如果網站的首頁一開始就是設置的flash動畫，那蜘蛛是根本無法繼續抓取網站其他內容，如果對於一些網站是必須要flash的，那我們只能在首頁再設置指向html的連結，引導蜘蛛對其他內容進行抓取， 否則網站就進入到蜘蛛的陷阱裡面。 可能近幾年來蜘蛛在flash的抓取方面做了很多進步，但是對flash抓取仍然有障礙，站長們要想更長久的運營網站，還是儘量的少用到flash。

其次：避免欺騙跳轉。 很多網站為了謀取眼前的利益，給網站加上各種樣式的跳轉，可能是彈窗式的廣告，可能是JS的跳轉等，蜘蛛對這些跳轉都是特別反感的。 如果你的網站跳轉是為了提高使用者的體驗，這時可以不用考慮到蜘蛛的抓取，如果不是那最好是不要採取這樣的跳轉方式，對搜尋引擎來說是不友好的，對於你的使用者來說更是不友好的。 這樣的做法往往會出現在資源下載站，或是一些垃圾的小說網站，使用者點擊去的都是其他網站的連結，或是欺騙的下載連結，這樣會嚴重的影響使用者的體驗。 對於網站的跳轉來說，蜘蛛唯一認可的就是網站的301跳轉，用來改變網站的權重，其他的跳轉站長們還是要慎用的。

再次：避免frame結構。 技術人員在設計網站時，會了能更好的管理網站的結構，會用到frame的框架，雖然這樣的框架結構有利於管理，但是和flash一樣，蜘蛛抓取時只能識別html的代碼，其他的都是很難識別的。 對於frame框架不是說網站不可有，這些技術可以用到網站不想被蜘蛛識別的地方，比如自己網站的一些廣告連結，比如一些站群操作中的友鏈中，可以降低網站權重的流失，因為是自己的站台連結，別人也不會說你是不誠信的， 但是這樣的框架不要用到和外部的友情連結中，這種是很不誠信的，蜘蛛抓取不到，對別人來說也是很不好的，站長們要酌情考慮的去使用，別讓網站進入陷進中。

最後：避免細節陷進。 網站優化過程中需要注意的細節很多，這些細節中存在的陷進也是很多的，比如：圖片的ALT屬性，忘記添加就會導致蜘蛛無法抓取;網站的動態URL位址，帶有問號、等號、參數的動態連結，對蜘蛛的抓取是不友好的;網站的JS跳轉， 很多時候會被用到導航上，但是蜘蛛的抓取就會產生一定的困難，何不用CSS代替;網站的內鏈結構，權重不高的網站，蜘蛛抓取的深度在3-4層，那這些網站就應該要建立網狀的導航系統;還有就是網站一些作弊的手段， 對網站來說這些作弊的手段都是陷進，是正規的網站想長期運營的網站，還是不要使用作弊的手段，網站進入審核期以後，就會很難出來，這是賠了夫人又折兵，得不償失。

網站的設計要考慮到使用者的體驗，也要考慮到蜘蛛的抓取，不得不使用的一些設計，那就要想辦法彌補，儘量能讓蜘蛛能抓取到我們的資訊，儘量提供蜘蛛對網站的友好程度，提高蜘蛛在網站的抓取次數，和抓取的數量，這樣網站優化才會更友好。