SEOer不得不知的蜘蛛陷阱

仲介交易 SEO診斷 淘寶客 雲主機 技術大廳

說到蜘蛛陷阱，可能很多SEO新手都沒有聽過，什麼是蜘蛛?蜘蛛陷阱是阻止蜘蛛爬行網站的障礙物或者說是干擾物，很多蜘蛛陷阱是人為的，也有很多是不小心造成的，既然是蜘蛛陷阱那就是對於蜘蛛的陷阱，對使用者是沒有影響的， 所以可能網頁介面看起來非常正常，但裡面就有可能存在蜘蛛陷阱。 如果消除這些蜘蛛陷阱，可以使蜘蛛更好的在網站內部爬行抓取，現在就來看一下一些SEOer不得不知的蜘蛛陷阱!

1. Flash動畫

有的朋友會問，為什麼Flash是蜘蛛陷阱的一種，其實這個問題很簡單，就是因為蜘蛛識別不了Flash，很多網站喜歡在首頁做一個Flash動畫然後再跳向HTML頁面，使用者可以訪問網站看完片頭後被轉向得真正的HTML網頁。 但搜尋引擎蜘蛛呢?蜘蛛是不能通過這個Flash跟蹤到HTML版本頁面的。 這就是一個陷阱，阻擋了蜘蛛繼續抓取網站。 如果Flash效果是必需的，木木seo建議在首頁Flash檔之外加上一個通往HTML版本的連結，這樣蜘蛛可以跟蹤這個連結抓取後面得HTML頁面。

2. JS連結

JAVAscript可以創造出很多吸引人得視覺效果，有些網站喜歡使用JAVAscript腳本生成導航系統。 這也是比較嚴重得蜘蛛陷阱之一。 蜘蛛對於js也是識別不了的，對於js特效可以加入網站，也可以將不需要被抓取的連結放入js，但是需要進行爬行抓取的連結一定不能放入JS，這會造成蜘蛛不能繼續爬行，同時js也不要太多，可以專門建一個js檔。

3. 動態URL

我們說現在蜘蛛是可以抓取部分URL連結的，但是動態URL是資料庫直接生成的，有的帶了問號、等號等多個參數。 這類網址不僅不利於搜尋引擎蜘蛛爬行，而且還可能造成蜘蛛的閉環，這是一個致命的蜘蛛陷阱。 所以大多數情況都是建議大家網址靜態化。

4. Session ID

有些網站為了跟蹤使用者訪問使用Session ID，每個使用者訪問網站時都會生成獨特唯一得Session ID，也即ID。 這個ID都是加在URL中，搜尋引擎蜘蛛的每一次訪問也會被當成一個新得使用者在URL中會加上一個不同的ID,這樣蜘蛛每次來訪問時所得到的同一個頁面會是一個不一樣的URL。 結果就很明顯，這樣一來會產生複製內容頁面，造成了高度重複的內容頁。

5. Frame框架

框架結構對蜘蛛來說和Flash、js一樣都是一道牆，框架結構也會阻礙搜尋引擎蜘蛛的爬行和抓取，讓蜘蛛掉進陷阱。

6. 要求登錄

這個是很常見的，有些網站內容放在需要使用者登錄之後才能看到得到，設置有的整個網站只能登陸進入後才能看，這對於使用者當然沒什麼，而對於蜘蛛就造成陷阱，為什麼?因為蜘蛛不能填寫使用者名、密碼、也不會註冊，自然而然， 蜘蛛不能進來抓取你的內容，所以除非是VIP內容或者是不需要蜘蛛抓取的內容，其它的應該對蜘蛛公開，這樣才能抓取。

7. 強制使用Cookies

有些網站為了實現某種功能、如記住使用者登錄資訊、跟蹤使用者訪問路徑等、強制使用者使用Cookies、使用者瀏覽器如果沒有啟用Cookies、頁面顯示不正常。 搜尋引擎蜘蛛就相當於一個禁用Cookies得瀏覽器、強制使用Cookies只能造成搜尋引擎蜘蛛無法正常訪問

8.各種跳轉

目前比較建議的網站跳轉就是301、302重定向，而其它跳轉，蜘蛛是非常的敏感。 因為黑帽最喜歡用跳轉這種手段了，黑了別人的網站，然後在別人的網站上掛上一個指向自己網站的跳轉。 像js跳轉、代碼跳轉等都不建議大家隨便用，特別是如果在做404頁面一定要用代碼跳轉，那建議時間在5秒以上。

9.網站連結結構

對於蜘蛛而言，我們主要說的就是網站的連結結構，其實網站的連結結構就等於一個房子，連結就是門，而蜘蛛就是我們邀請而來的朋友，網站連結結構槽糕混亂就相當於朋友來到你家後根本就分不清楚東南西北，找不到入口出口。 連對應的連結都找不到，蜘蛛怎麼進行抓爬?所以連結結構還是需要呈扁平樹狀結構。

知道了這些可能的蜘蛛陷阱，大家以後就要注意別給蜘蛛搭陷阱了，那麼現在趕緊去你的網站經常一下吧，看是否還有這些蜘蛛陷阱。 歡迎關注新浪微博：木木seo博客

作者：木木seo HTTP://blog.sina.com.cn/s/blog_c206a2c30101g7wx.html