網站優化適度遮罩「蜘蛛」有益無害

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

網站優化做的是使搜尋引擎快速索引頁面，從而增加權重和訪問量。 由此站長喜歡蜘蛛將網站爬個遍，吃個透。 但是讓蜘蛛肆無忌憚的去爬行真的就有益於網站優化嗎？ 很多站長在robotts.txt文本中可能除了ADMIN、DATA目錄限制蜘蛛爬行，其他目錄任蜘蛛索引。 筆者要說，做網站優化除了一些安全目錄外再應適度遮罩一些目錄，禁止搜尋引擎的索引是有益無害的。

一：圖片目錄的遮罩
圖片是構成網站組成的主要元素，然而主題範本中類似的圖片在搜尋引擎中鋪天蓋地，搜尋引擎一遍遍的索引下去還會進行收錄嗎？ 即使收錄了，所帶的效果也是微乎其微的。 一個不錯的網站，每天各式各樣的蜘蛛加起來來訪不下幾千次，無疑是浪費了大量的頻寬。 一般我們常遮罩的目錄為「images、images」。

二：緩存目錄的遮罩
很多程式都具有緩存目錄，拿z-blog這個程式來舉例子，它的緩存目錄為「CACHE」，其中會有著不少已經生成HTML的快取檔案。 如果蜘蛛繼續進行索引的話，無疑是造成了重複內容的索引，這對網站是有害無益的。 看到不少使用Z-blog的朋友都沒有進行設置，可能是沒有引起足夠的重視吧。 當然，其他程式還有這各自不同的緩存目錄，針對性的進行遮罩才最為適宜。

三：範本目錄的遮罩
對於程式的範本，大多站長都選擇了直接套用而非獨立範本。 範本的高度重複性也成為了一個搜尋引擎中資訊的冗余，因此利用Robots.txt來進行範本的遮罩也是有益無害的。 且範本檔常常與生成檔高度相似，同樣易造成雷同內容的出現。

四：CSS目錄的遮罩
CSS目錄，搜尋引擎抓取無用，所以我們在設置Robots.txt檔中將其進行遮罩，以提高搜尋引擎的索引品質。 為搜尋引擎提供一個簡潔明瞭的索引環境更易提升網站友好性。

五：部分程式的RSS頁
此條只針對存在RSS頁的程式來講，一般博客中比較常見。 此頁面可以說是一個高度重複的頁面，完全有必要進行遮罩，以增強網站在搜尋引擎中的友好性。

六：遮罩雙頁面的內容
一個可以生成靜態頁面的網站，一般來說動態頁面也是可以訪問的。 如：「www.XXXX/1.html與www.xxxxx/asp?id=1」，兩者若被搜尋引擎完全索引，無疑是訪問到了完全一致的內容，對搜尋引擎友好性來說是有害無益的。 而我們遮罩的往往都是後者，因為前者頁面為靜態，更易被搜尋引擎索引收錄。

七：涉及程式安全頁
在起始位置我們交代了遮罩ADMIN、DATA目錄，防止安全目錄與資料庫洩露。 另外資料庫目錄、網站日誌目錄、備份目錄都是需要進行遮罩的，都是可以有效減少「洩密」現象的發生。

八：遮罩檔形式
一些站長總是喜歡將網站備份後方到網站下載後忘記刪除，或者根本不做下載，直接保留到伺服器。 但是大家都知道，網站發展壯大必定受到一些人的窺視，網站一次次的被嘗試下在資料庫、備份檔案，稍微有點名次的網站都會受到類似的攻擊。 利用robots.txt遮罩類似「rar、zip」等類似的檔。 實質上，這樣的遮罩方式更有益於「第七點」，但是做到的仍然只是局部。

總結：適度做一下遮罩蜘蛛的優化不僅可以節省我們伺服器的資源，同時也可以增加搜尋引擎對網站的友好性，何樂而不為呢？ 二進位網路攜手專業網站建設公司引航科技（www.joyweb.net.cn）認為：robots.txt檔不僅僅是遮罩安全目錄的工具，優化得當更利於網站對搜尋引擎的優化。