關於WordPress的robots.txt檔的那些事

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

安裝完wordpress網站後關於robots.txt檔的書寫一直煩惱著很多站長，Robots.txt檔協定又叫搜尋引擎機器人協定，搜尋引擎爬蟲在爬取網站的時候，首先會看網站根目錄下是否有robots.txt檔，然後遵循robots.t xt協定爬取網站主希望搜尋引擎爬取的內容。 robots.txt檔意在告訴搜尋引擎爬蟲哪些頁面可以爬取，哪些頁面不能爬取，可以有效的保護使用者的隱私，同時也有利於節省蜘蛛的頻寬，從而讓蜘蛛爬取更加容易，促進收錄。

先來簡單的說下robots.txt檔的規則:

1、允許所有的搜索引起爬取任何內容

User-agent: *

Disallow：

這個意思就是允許所有的搜尋引擎爬取所有的頁面，雖然Disallow是不允許的意思，但是後面是放空狀態，這意思是沒有不允許爬取的頁面。

2、遮罩其中一種或者幾種搜尋引擎的爬取，以最近比較火的360綜合搜索為例

User-agent: 360spider

Disallow: /

User-agent：*

Disallow：

前兩行的意思是不允許360綜合搜索蜘蛛爬取任何頁面，後面的解釋見第一點。 同理，如果除了遮罩360綜合搜索也想遮罩百度蜘蛛，那就在開頭繼續添加。

3、不允許搜尋引擎抓取其中的某些頁面，這邊以不允許所有搜尋引擎爬取wordpress的管理後臺頁面為例

User-agent：*

Disallow：/wp-admin/

我們都知道，wordpress的管理後臺在根目錄下的wp-admin資料夾裡面，在disallow後面加上/wp-admin的意思就是不允許搜尋引擎蜘蛛爬取。

至於不允許百度爬取後臺，允許其他搜尋引擎爬取後臺，或者不允許360綜合搜索爬取後臺，允許其他搜尋引擎爬取後臺等等組合，請參考以上三點內容進行組合。

回歸正題，再來說下wordpress的robots.txt檔書寫，其實wordpress的robots檔很簡單，主要看3個要點：

1、網站後臺不要蜘蛛爬取

首先設置不讓搜尋引擎抓取wordpress後臺頁面，這幾乎是每個站長設置robots.txt檔首要的目的，不僅局限于wordpress，當然，不同的類型網站後臺頁面所在頁面的資料夾名稱不一樣。

2、靜態化後，動態url不要蜘蛛爬取

wordpress的url最好還是靜態化下，因為過多的動態參數不利於蜘蛛的爬取。 但很多站長在靜態化url之後，每次發佈文章時，搜尋引擎收錄總會同時收錄靜態的url和動態的url，這樣明顯會導致文章頁面權重的分散，而且會導致重複頁面過多最終受到搜尋引擎的懲罰，其實避免這種情況的方法很簡單， 那就是在robots.txt檔裡面設置，讓蜘蛛不爬取動態url，這樣動態的url就不會被百度收錄。

3、結尾加上xml格式的網站地圖

在robots.txt的結尾加上網站地圖，可以讓網站地圖在蜘蛛爬取網站的時候第一時間被抓取，更利於頁面的收錄。

於是，最簡單的wordpress的robots.txt的書寫如下

User-agent：*

Disallow：/wp-admin/

Disallow：/*?*

#這意思是不抓取中包含?的url，動態url特徵是有?#

Sitemap：HTTP://www.yourdomain.com/sitemap.xml

去掉含有#的那行，以及將sitemap中的yourdomain改成你的功能變數名稱即可，這樣一個wordpress的robots.txt檔就完成了，最後將這檔上傳到根目錄下即可。

Robots.txt檔書寫還有幾點需要注意的：

1、斜杠問題

首先開頭的斜杠是一定要的，結尾有斜杠的話意思是這個目錄下的所有頁面，如果沒有斜杠那遮罩的既有包括斜杠的，也有不包括斜杠的，比如/wp-admin.html，/wp-admin.php等等頁面(舉例)。 這是兩個不同的概念，必須根據需要考慮後面是否加上斜杠。

2、大小寫問題

除了每行的首字母之外，其他都必須小寫。

3、Disallow和Allow

其實對於很多新手站長來說，掌握其中一種的寫法足以，因為同時被灌輸這兩種寫法很容易導致混繞，所以如果你是新手，那麼robots.txt檔最好只使用一種方法即可，防止混繞造成錯誤。 本文由seo學習網站長張冬龍原創，如需轉載請保留原文位址HTTP://www.zhangdonglong.com/archives/578 ，謝謝。