Z-Blog：如何寫針對搜尋引擎的robots

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

我的個人站是用z-blog建的站，最近我發現很多的z-blog站長都不知道應該怎麼設置自己的robots，其實robots設置對網站優化來說還是非常重要的。 創建 robots.txt 檔，可以不讓搜索蜘蛛抓取你的網站的部分目錄或者檔。 對於一個網站來說並非抓取的目錄和檔越多越好，因為不是所有的檔都需要被搜尋引擎抓取，有興趣的站長可以到我的網站看看robots的案例：HTTP://www.wangbishan.com。

        以下幾種情況有足夠的理由告訴我們robots設置的重要性： 有些檔根本沒有關鍵詞或文本，比如本站的這個頁面cmd.asp。 一般情況下，站內的搜尋結果頁面用robots設置遮罩掉更好，比如本站的sreach.asp 網站後臺管理頁面，不希望被使用者搜索到引來不必要的麻煩，也需要用robots設置屏 網站改版或url重寫時原來不符合搜尋引擎友好的連結都需要用robots設置遮罩掉 相似度太高的頁面，不符合搜尋引擎的「網站相似度規則」，也可以用robots設置遮罩掉 以下是我的個人站的robots設置規則, 希望能夠起到抛磚引玉的作用： ## robots.txt for dikeyao # Version 4.0.0#User-agent: * # Directories Disallow: /FUNCTION/ Disallow: /CACHE / Disallow: /XML-RPC/ Disallow: /SCRIPT/ Disallow: /ADMIN/ Disallow: /CSS/ Disallow: /LANGUAGE/ Disallow: /DATA/ Disallow: /THEMES/ Disallow: /INCLUDE/ #Files Disallow: /wap.asp Disallow: /cmd.asp Disallow: /c_option.asp Disallow: /c_custom.asp #Sitemap Sitemap: HTTP://www.hx50.com/sitemap.xml # Directories

         以下是需要遮罩的目錄 #Files以下是需要遮罩的檔 #Sitemap　如果網站有sitemap.xml最後還可以加上sitemap語句。 Nrobots設置規則可以參考：google管理員工具robots設置指南 z-blog的使用者還可以參考一些行業中比較有名的博客，比如月光博客，方法很簡單就是在網址後邊有加上robots.txt即可( robots.txt在根目錄下)，HTTP://www.www.wangbishan.com/tobots.txt就是用了這種方法 ，同理查看其它網站robots設置也用此方法。