關於WordPress的robots.txt檔案的那些事

來源:互聯網
上載者:User

  安裝完wordpress網站後關於robots.txt檔案的書寫一直煩惱著很多站長,Robots.txt檔案協議又叫搜尋引擎機器人協議,搜尋引擎爬蟲在爬取網站的時候,首先會看網站根目錄下是否有robots.txt檔案,然後遵循robots.txt協議爬取網站主希望搜尋引擎爬取的內容。robots.txt檔案意在告訴搜尋引擎爬蟲哪些頁面可以爬取,哪些頁面不能爬取,可以有效保護使用者的隱私,同時也有利於節省蜘蛛的頻寬,從而讓蜘蛛爬取更加容易,促進收錄。

  先來簡單的說下robots.txt檔案的規則:

  1、允許所有的搜尋引起爬取任何內容

  User-agent: *

  Disallow:

  這個意思就是允許所有的搜尋引擎爬取所有的頁面,雖然Disallow是不允許的意思,但是後面是放空狀態,這意思是沒有不允許爬取的頁面。

  2、屏蔽其中一種或者幾種搜尋引擎的爬取,以最近比較火的360綜合搜尋為例

  User-agent: 360spider

  Disallow: /

  User-agent:*

  Disallow:

  前兩行的意思是不允許360綜合搜尋蜘蛛爬取任何頁面,後面的解釋見第一點。同理,如果除了屏蔽360綜合搜尋也想屏蔽百度蜘蛛,那就在開頭繼續添加。

  3、不允許搜尋引擎抓取其中的某些頁面,這邊以不允許所有搜尋引擎爬取wordpress的管理後台頁面為例

  User-agent:*

  Disallow:/wp-admin/

  我們都知道,wordpress的管理後台在根目錄下的wp-admin檔案夾裡面,在disallow後面加上/wp-admin的意思就是不允許搜尋引擎蜘蛛爬取。

  至於不允許百度爬取後台,允許其他搜尋引擎爬取後台,或者不允許360綜合搜尋爬取後台,允許其他搜尋引擎爬取後台等等組合,請參考以上三點內容進行組合。

  迴歸正題,再來說下wordpress的robots.txt檔案書寫,其實wordpress的robots檔案很簡單,主要看3個要點:

  1、網站後台不要蜘蛛爬取

  首先設定不讓搜尋引擎抓取wordpress後台頁面,這幾乎是每個站長設定robots.txt檔案首要的目的,不僅局限於wordpress,當然,不同的類型網站後台頁面所在頁面的檔案夾名稱不一樣。

  2、靜態化後,動態url不要蜘蛛爬取

  wordpress的url最好還是靜態化下,因為過多的動態參數不利於蜘蛛的爬取。但很多站長在靜態化url之後,每次發布文章時,搜尋引擎收錄總會同時收錄靜態url和動態url,這樣明顯會導致文章頁面權重的分散,而且會導致重複頁面過多最終受到搜尋引擎的懲罰,其實避免這種情況的方法很簡單,那就是在robots.txt檔案裡面設定,讓蜘蛛不爬取動態url,這樣動態url就不會被百度收錄。

  3、結尾加上xml格式的網站地圖

  在robots.txt的結尾加上網站地圖,可以讓網站地圖在蜘蛛爬取網站的時候第一時間被抓取,更利於頁面的收錄。

  於是,最簡單的wordpress的robots.txt的書寫如下

  User-agent:*

  Disallow:/wp-admin/

  Disallow:/*?*

  #這意思是不抓取中包含?的url,動態url特徵是有?#

  Sitemap:http://www.yourdomain.com/sitemap.xml

  去掉含有#的那行,以及將sitemap中的yourdomain改成你的網域名稱即可,這樣一個wordpress的robots.txt檔案就完成了,最後將這檔案上傳到根目錄下即可。

  Robots.txt檔案書寫還有幾點需要注意的:

  1、斜杠問題

  首先開頭的斜杠是一定要的,結尾有斜杠的話意思是這個目錄下的所有頁面,如果沒有斜杠那屏蔽的既有包括斜杠的,也有不包括斜杠的,比如/wp-admin.html,/wp-admin.php等等頁面(舉例)。這是兩個不同的概念,必鬚根據需要考慮後面是否加上斜杠。

  2、大小寫問題

  除了每行的首字母之外,其他都必須小寫。

  3、Disallow和Allow

  其實對於很多新手站長來說,掌握其中一種的寫法足以,因為同時被灌輸這兩種寫法很容易導致混繞,所以如果你是新手,那麼robots.txt檔案最好只使用一種方法即可,防止混繞造成錯誤。 本文由seo學習網站長張冬龍原創,如需轉載請保留原文地址http://www.zhangdonglong.com/archives/578 ,謝謝。



相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

11.11 Big Sale for Cloud

Get Unbeatable Offers with up to 90% Off,Oct.24-Nov.13 (UTC+8)

Get It Now >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。