robots.txt 指南–介紹 [翻譯]

原文：http://javascriptkit.com/howto/robots.shtml
譯者：Tony Qu，BluePrint翻譯團隊

   
有一種力量其實一直在滲入大量的網站和頁面，我們通常看不到它們，而且它們通常也很蠻橫，大部分人甚至不知道它的存在，大家不要誤會，其實我說得是搜尋引
擎爬蟲和機器人。每天，上百個這樣的爬蟲會出來對網站進行快速的搜尋。不管是不是google打算對整個網路進行索引，還是spam機器人打算收集大量的
email地址，通常它們這樣的尋找是漫無目的的。作為網站擁有者，我們可以通過一個叫做robots.txt的檔案來控制哪些動作是機器人可以做的。

建立robots.txt檔案好，現在我們開始行動。建立一個叫robots.txt的文字檔，請確保它的檔案名稱是
正確的。該檔案必須上傳到在您的網站的根目錄下，而不是二級目錄下（例如，應該是http://www.mysite.com，而不是http:
//www.mysite.com/stuff），只有滿足以上兩點，即檔案名稱正確和路徑正確，搜尋引擎才會根據該檔案中的規則工作，否則
robots.txt僅僅只是個常規檔案而已，沒有任何作用。

現在，你已經知道如果這個檔案該如何命名，以及應該把它上傳在何處，接下來你會學習在這個檔案中鍵入命令，搜尋引擎會遵循一個叫做“機器人排除協議”(Robots Exclusion
Protocol)的協議。其實，它的格式很簡單，並且能夠滿足大多數的控制需要。首先是一行USERAGENT用來識別爬蟲類型，緊跟著的是一行或者多行DISALLOW，這些行是用來限制爬蟲訪問網站的一些部分的。

1) robots.txt基本設定User-agent: *
Disallow: /

根據以上的聲明，所有的爬蟲（這裡用*表示出來）均不允許對您的網站的任何部分進行索引，這裡的/表示所有頁面。通常情況下這不是我們需要的，但這裡僅僅是讓大家有個概念而已。
2) 現在讓我們做一些小小的改動。儘管每個站長都喜歡Google，但是你可能不希望Google的鏡像機器人挖掘你的網站，也不希望它把你的網站的鏡像放在網上，實現線上搜尋，如果僅僅是為了節省你的網站所在的伺服器的頻寬，下面的聲明可以做到這一點User-agent: Googlebot-Image
Disallow: /

3) 以下代碼不允許任何一個搜尋引擎和機器人挖掘目錄和頁面資訊User-agent: *
Disallow: /cgi-bin/
Disallow: /privatedir/
Disallow: /tutorials/blank.htm

4) 你還可以對多個機器人設定不同的目標，看看下面的代碼User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/
Disallow: /privatedir/

這個設定很有趣，這裡我們禁止了所有的搜尋引擎對於我們的網站的挖掘操作，除了google，在這裡Google被允許訪問除了/cgi-bin/和/privatedir/以外的所有網站。這裡說明，規則是可以定製的，但不是繼承而來的。
5) 有另外一種使用Disallow的方法：即允許訪問網站所有內容，其實只要冒號後不輸入任何東西就可以了User-agent: *
Disallow: /
User-agent: ia_archiver
Disallow:

在這裡，除了alex以外的所有爬蟲都不允許搜尋我們的網站
6)
最後，一些爬蟲現在支援Allow規則，最著名的就是Google。正如這個規則的名字所說，"Allow:"允許你精確的控制那些檔案或者檔案夾是可以
被訪問的。然而，這個檔案目前還不是robots.txt協議的組成部分，所以我建議只有在必須使用時才使用它，因為一些不夠聰明的爬蟲可能認為它是錯誤
的。
下面的內容來自於Google's的FAQs for
webmasters，如果你希望除了Google以外的爬蟲都不挖掘你的網站，那麼以下的代碼是做好的選擇User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /