如何使用robots不讓百度和google收錄

標籤：

如何使用robots不讓百度和google收錄
  

　　有沒有想過，如果我們某個網站不讓百度和google收錄，那怎麼辦?

　　搜尋引擎已經和我們達成一個約定，如果我們按約定那樣做了，它們就不要收錄。

　　這個寫約定的的檔案命名為:robots.txt。

　　robots.txt是一個最簡單的.txt檔案，用以告訴搜尋引擎哪些網頁可以收錄，哪些不允許收錄。

　　關於robots.txt一般站長需要注意以下幾點：

　　如果你的網站對所有搜尋引擎公開，則不用做這個檔案或者robots.txt為空白就行。

　　必須命名為：robots.txt，都是小寫，robot後面加"s"。

　　robots.txt必須放置在一個網站的根目錄下。如：通過http://www.suiyan.cn/robots.txt 可以成功訪問到，則說明本站的放置正確。

　　一般情況下，robots.txt裡唯寫著兩個函數：User-agent和 Disallow。

　　觀察這個頁面並修改為自己的：http://www.suiyan.cn/robots.txt

　　有幾個禁止，就得有幾個Disallow函數，並分行描述。

　　至少要有一個Disallow函數，如果都允許收錄，則寫: Disallow: ，如果都不允許收錄，則寫:Disallow: / (註：只是差一個斜杆)。

　　補充說明：

　　User-agent: * 星號說明允許所有搜尋引擎收錄

　　Disallow: /search.html 說明 http://www.suiyan.cn/search.html 這個頁面禁止搜尋引擎抓取。

　　Disallow: /index.php? 說明類似這樣的頁面http://www.suiyan.cn/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜尋引擎抓取。

如何使用robots不讓百度和google收錄