Robots.txt編寫似雷區 稍有不慎「毒害甚深」（一）

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

每個人都有自己的隱私，網站也是這樣，網站中也有不希望被蜘蛛看到的東西，比如會員密碼等等，而想要遮擋住這部分隱私，一般情況下站長都會在第一時間想到Robots.txt。 沒錯，Robots.txt檔的使用的確可以給蜘蛛指明道路，告訴它什麼地方該去，什麼地方不該去，也正是因為這點原因，很多站長都熱衷於用Robots.txt，但是大家真的會用Robots.txt嗎? 對於它的編寫規則大家又知道多少呢?本人不才，但對於這方面總歸有點經驗，在這分享出來，讓大家有個參考，當然老鳥可以飛過了。

Robots.txt編寫的順序問題

舉個最簡單的例子，如果你想讓自己a檔中的b.html被抓取，那麼你怎麼編寫呢?是

Allow:/a/b.html Disallow:/a/ 還是Disallow:/a/ Allow:/a/b.html這樣？

在Robots.txt編寫規則中，它並不執行樹狀分析結構，換句話說編寫時並不應該把母資料夾放在最前，而是遵循一種就近原則，如果我們把母資料夾放在前面，蜘蛛會認為這個途徑被封閉了，不能訪問，而我們最終的目的卻是訪問，這樣一來，目標和實際就大相逕 庭了。

Robots.txt編寫的開放性問題

很多站長， 尤其是新手站長對於Robots.txt的理解過於片面，他們認為既然Robots.txt可以規定蜘蛛的訪問途徑，那我們何必不開放，把所有檔都設置成可訪問，這樣一來網站的收錄量不久立即上升了，其實問題遠遠沒有我們想像的簡單，大家都知道網站中一些 固定的檔是不必傳送給搜尋引擎訪問的，如果我們把網站「全方位開放」，後果就是加大網站伺服器負載，降低存取速度，減緩蜘蛛的爬行率，對於網站收錄沒有一點用處，所以對於固定不需要訪問的檔，我們直接Disallow掉就可以了。

一般情況下，網站不需要訪問的檔有後臺管理檔、程式腳本、附件、資料庫檔案、等等。

Robots.txt編寫的重複性問題

我們每天都在寫著原創內容，然後更新到自己的網站中，大家想過沒有我們這樣做的目的是什麼?當然是為了討搜尋引擎的好，大家都知道搜尋引擎很看重原創內容，對於原創內容的收錄很快，相反，如果你的網站中充斥著大量的複製內容， 那麼我只能遺憾的告訴你，網站的前途一片渺茫。 不過這也從另一個方面告訴我們要積極的利用robots檔禁止重複頁面的代碼，降低頁面的重複度，但是在編寫robots檔時一定要記得

在User-agent後加入某個搜尋引擎，例如User-agent:BaiduSpider Disallow:/，如果沒有加入，編寫成User-agent: * Disallow: /形式，則是對網站所有內容的「遮罩」。

Robots.txt編寫的meta問題

在 Robots.txt編寫規則中，有一個取最強參數法則，而且如果網站以及頁面標籤上同時出現robots.txt檔和meta標籤，那麼搜尋引擎就會服從兩個規則中較為嚴格的一個，即禁止搜尋引擎對於某個頁面的索引，當然如果robots.txt檔和 meta標籤不是出現一個檔中，那麼搜尋引擎就會遵循就近原則，就會索引meta標籤前的所有檔。

Robots.txt編寫的細節性問題

1.反斜線的插入

還是以Disallow:/a/b.html為例，在編寫該語句的時候，如果忘記加入了反斜線，則是對全部內容進行開放，這與編寫語句的想法相悖，因為反斜線的意義是根目錄。

2.空格的出現

空格的出現就很好理解了，因為搜尋引擎對於這個特殊符號的出現並不識別，它的加入只會使語句失去應有的效用。

現在大家理解我為什麼說有人知道robots.txt檔，但是少有人知道該怎麼正確編寫了robots.txt檔了吧。 其實robots.txt檔中還會其他的細節以及注意問題，在以後的時間裡我會繼續和說一下robots.txt檔編寫中涉及到的目錄大小、user-agent的數量等問題。

　　本文出自手機壁紙網HTTP://www.sjbzz.com，歡迎轉載，謝謝。