關於網站的Robot檔使用詳解

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

很多朋友不太注重Robots檔，其實Robots檔在SEO優化裡是比較重要的，不僅可以用它來遮罩死鏈，還可以用它來引導蜘蛛爬網站地圖。 參考我的HTTP://www.seo0668.com/robots.txt，不會的照抄我的就行了。

User-agent: * Disallow: /plus/ad_js.phpDisallow: /plus/advancedsearch.phpDisallow: /plus/car.phpDisallow: /plus/ carbuyaction.phpDisallow: /plus/shops_buyaction.phpDisallow: /plus/erraddsave.phpDisallow: /plus/ posttocar.phpDisallow: /plus/disdls.phpDisallow: /plus/feedback_js.phpDisallow: /plus/mytag_js.phpDisallow: /plus/ rss.phpDisallow: /plus/search.phpDisallow: /plus/recommend.phpDisallow: /plus/stow.phpDisallow: /plus/ count.phpDisallow: /includeDisallow: /templetsDisallow: /WL/Disallow: /plus/Disallow: /plus/guestbookDisallow: /plus /guestbook.phpDisallow: /MMSEO/75.htmlDisallow: /plus/arcmulti.php?mtype=0&pnum=Disallow: /plus/arcmulti.php? mtype=1&pnum=Disallow: /plus/feedback_ajax.phpDisallow: /MMSEO/XYSEO/177.htmlDisallow: /MMSEO/33.htmlSitemap: HTTP://www.seo0668.com/sitemap.htmSitemap: HTTP://www.seo0668.com/sitemap.xml

Robot檔的功能：

搜尋引擎抓去頁面會叫 蜘蛛(也叫機器人)來爬行我們的網站，在爬行一個網站之前都會訪問一下這個網站根目錄下的Robots.txt。 而這個Robots.txt裡面的內容就是告訴蜘蛛，哪些是可以爬行的 哪些是不可以爬行的，可以說Robots.txt是不可忽視的SEO小細節。 能引導蜘蛛正確的爬行我們的網站 這就是Robots的功能,我們可以把一些重要的版塊或資料夾遮罩掉，讓蜘蛛爬行不到，保護我們的網站安全

Robot檔的作用：

1、當你刪除一個目錄時需要使用Robots檔禁止蜘蛛對此問目錄的訪問，這樣可以避免死連結的形成。 當然禁止搜尋引擎收錄的還有你網站的一些圖片目錄，js目錄....，如果蜘蛛讀到你網站沒用的資訊的時候也會給你降低一點權重的。

2、Robots的寫法看似簡單實際比較嚴格，建議去網上查看相關資料，就算是一個空格寫錯了也會造成不必要的後果，建議到網上學習下。

3、Robots的最大用處就在於提交網站地圖，提交網站地圖可以讓搜尋引擎知道你每天都在更新，收錄你的文章會更多更快。

Robot檔的寫法：

1、允許搜尋引擎收錄本站所有內容：Robots.txt為空就可以，什麼都不要寫。

2、禁止搜尋引擎收錄本站某些頁面，參照HTTP://www.seo0668.com/robots.txt。

 User-agent: *


Disallow: /目錄名1/


Disallow: /目錄名2/

3、禁止搜尋引擎收錄本站所有內容：

我們知道淘寶是封殺百度的，我找到了淘寶網的Robots.txt，瀏覽器輸入：HTTP://www.taobao.com/robots.txt，照抄即可。

google蜘蛛： googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp

User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /