WordPress部落格robots.txt寫法

使用Wordpress搭建的部落格，利用robots.txt檔案限制搜尋引擎抓取部分目錄及檔案，歸納大致有以下幾種方法。

最簡單的開放寫法

不作任何限制，Wordpress站內連結結構比較合理，作為一般部落格，完全開放就可以了，代碼：

User-agent: *
Disallow:

允許所有蜘蛛訪問，允許訪問所有內容。Wordpress只要模板中連結設計合理，沒有需要限制的特殊內容，推薦使用這種寫法。

最簡單的嚴格寫法

User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

允許所有蜘蛛訪問，限制以“wp-”開頭的目錄及檔案，限制抓取.php檔案、.inc檔案、.js檔案、.css檔案，限制抓取搜尋結果。

Disallow: /wp-* 會連同附件目錄一起限制抓取，如果想讓搜尋引擎抓取附件中的內容，將第三行的 # 號注釋去掉。Allow 不是所有搜尋引擎都支援。

最合理的寫法

賣瓜的都說自己瓜甜，我也覺得自己的Robots.txt寫的最合理

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://www.lesishu.cn/sitemap.xml

允許所有搜尋引擎抓取，逐一列舉需要限制的目錄，限制抓取搜尋結果。

包含sitemap.xml地址（這一項viki中有專門的說明，但Google管理員工具會提示‘檢測到無效的 Sitemap 引用’，有效性尚有爭議）。

robots.txt其他寫法

為避免在搜尋引擎中出現重複頁面，Wordpress玩家自創了很多robots寫法，列舉一些常用的，作為參考（適用於偽靜態方式的永久連結）：

Disallow: /page/

#限制抓取Wordpress分頁

Disallow: /category/*/page/*

#限制抓取分類的分頁

Disallow: /tag/

#限制抓取標籤頁面

Disallow: */trackback/

#限制抓取Trackback內容

Disallow: /category/*

#限制抓取所有分類列表

最後，推薦使用 Google管理員工具，登入後訪問“工具 -> 分析 robots.txt”，檢查檔案有效性。

作者：樂思蜀
原文：WordPress部落格robots.txt寫法
著作權，轉載時必須以連結形式註明作者和原始出處並保留本聲明。