詳解robots.txt和Robots META標籤

對於網站管理者和內容提供者來說,有時候會有一些網站內容,不希望被ROBOTS抓取而公開。為瞭解決這個問題,ROBOTS開發界提供了兩個辦法：一個是robots.txt,另一個是The Robots meta標籤。 

一、 robots.txt

1、 什麼是robots.txt？

　　robots.txt是一個純文字檔案,通過在這個檔案中聲明該網站中不想被robots訪問的部分,這樣,該網站的部分或全部內容就可以不被搜尋引擎收錄了,或者指定搜尋引擎只收錄指定的內容。

當一個搜尋機器人訪問一個網站時,它會首先檢查該網站根目錄下是否存在robots.txt,如果找到,搜尋機器人就會按照該檔案中的內容來確定訪問的範圍,如果該檔案不存在,那麼搜尋機器人就沿著連結抓取。

robots.txt必須放置在一個網站的根目錄下,而且檔案名稱必須全部小寫。

網站 URL
相應的 robots.txt的 URL

http://www.w3.org/
http://www.w3.org/robots.txt

http://www.w3.org:80/
http://www.w3.org:80/robots.txt

http://www.w3.org:1234/
http://www.w3.org:1234/robots.txt

http://w3.org/
http://w3.org/robots.txt

 

2、 robots.txt的文法

"robots.txt"檔案包含一條或更多的記錄,這些記錄通過空行分開（以CR,CR/NL, or NL作為結束符）,每一條記錄的格式如下所示：

　　　　"＜field＞:＜optionalspace＞＜value＞＜optionalspace＞"。

在該檔案中可以使用#進行註解,具體使用方法和UNIX中的慣例一樣。該檔案中的記錄通常以一行或多行User-agent開始,後面加上若干Disallow行,詳細情況如下：

User-agent: 

該項的值用於描述搜尋引擎robot的名字,在"robots.txt"檔案中,如果有多條User-agent記錄說明有多個robot會受到該協議的限制,對該檔案來說,至少要有一條User-agent記錄。如果該項的值設為*,則該協議對任何機器人均有效,在"robots.txt"檔案中, "User-agent：*"這樣的記錄只能有一條。

Disallow :

該項的值用於描述不希望被訪問到的一個URL,這個URL可以是一條完整的路徑,也可以是部分的,任何以Disallow 開頭的URL均不會被robot訪問到。例如"Disallow: /help"對/help.html 和/help/index.html都不允許搜尋引擎訪問,而"Disallow: /help/"則允許robot訪問/help.html,而不能訪問/help/index.html。

任何一條Disallow記錄為空白,說明該網站的所有部分都允許被訪問,在"/robots.txt"檔案中,至少要有一條Disallow記錄。如果 "/robots.txt"是一個空檔案,則對於所有的搜尋引擎robot,該網站都是開放的。 

下面是一些robots.txt基本的用法：

l 禁止所有搜尋引擎訪問網站的任何部分：
User-agent: *
Disallow: /

l 允許所有的robot訪問
User-agent: *
Disallow:
或者也可以建一個空檔案 "/robots.txt" file

l 禁止所有搜尋引擎訪問網站的幾個部分（下例中的cgi-bin、tmp、private目錄）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

l 禁止某個搜尋引擎的訪問（下例中的BadBot）
User-agent: BadBot
Disallow: /

l 只允許某個搜尋引擎的訪問（下例中的WebCrawler）
User-agent: WebCrawler
Disallow:

User-agent: *
Disallow: /

3、 常見搜尋引擎機器人Robots名字

名稱 搜尋引擎

Baiduspider: http://www.baidu.com 

Scooter: http://www.altavista.com 

ia_archiver: http://www.alexa.com 

Googlebot: http://www.google.com 

FAST-WebCrawler: http://www.alltheweb.com 

Slurp: http://www.inktomi.com 

MSNBOT: http://search.msn.com 

4、 robots.txt舉例

下面是一些著名網站的robots.txt：

http://www.cnn.com/robots.txt

http://www.google.com/robots.txt

http://www.ibm.com/robots.txt

http://www.sun.com/robots.txt 

http://www.eachnet.com/robots.txt

5、 常見robots.txt錯誤

l 顛倒了順序：
錯誤寫成
User-agent: *
Disallow: GoogleBot

正確的應該是：
User-agent: GoogleBot
Disallow: *

l 把多個禁止命令放在一行中：
例如,錯誤地寫成
Disallow: /css/ /cgi-bin/ /images/

正確的應該是
Disallow: /css/ 
Disallow: /cgi-bin/ 
Disallow: /images/

l 行前有大量空格
例如寫成
Disallow: /cgi-bin/
儘管在標準沒有談到這個,但是這種方式很容易出問題。

l 404重新導向到另外一個頁面：
當Robot訪問很多沒有設定robots.txt檔案的網站時,會被自動404重新導向到另外一個Html頁面。這時Robot常常會以處理robots.txt檔案的方式處理這個Html分頁檔。雖然一般這樣沒有什麼問題,但是最好能放一個空白的robots.txt檔案在網站根目錄下。

l 採用大寫。例如
USER-AGENT: EXCITE
DISALLOW: 
雖然標準是沒有大小寫,但是目錄和檔案名稱應該小寫：
user-agent:GoogleBot
disallow: 

l 文法中只有Disallow,沒有Allow！
錯誤的寫法是：
User-agent: Baiduspider 
Disallow: /john/
allow: /jane/

l 忘記了斜杠/
錯誤的寫做：
User-agent: Baiduspider 
Disallow: css

正確的應該是
User-agent: Baiduspider 
Disallow: /css/ 

下面一個小工具專門檢查robots.txt檔案的有效性：

http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
 

二、 Robots meta標籤

1、什麼是Robots meta標籤

　　Robots.txt檔案主要是限制整個網站或者目錄的搜尋引擎訪問情況,而Robots meta標籤則主要是針對一個個具體的頁面。和其他的meta標籤（如使用的語言、頁面的描述、關鍵詞等）一樣,Robots meta標籤也是放在頁面的＜head＞＜/head＞中,專門用來告訴搜尋引擎ROBOTS如何抓取該頁的內容。具體的形式類似（見黑體部分）：

＜html＞

＜head＞

＜title＞時代營銷--網路營銷專業門戶＜/title＞

＜meta name="Robots" con_tent="index,follow"＞

＜meta http-equiv="Content-Type" Con_TENT="text/html; charset=gb2312"＞

＜meta name="keywords" con_tent="營銷… "＞

＜meta name="description" con_tent="時代營銷網是…"＞

＜link rel="stylesheet" href="/public/css.css" type="text/css"＞

＜/head＞

＜body＞

…

＜/body＞

＜/html＞

2、Robots meta標籤的寫法：

　　Robots meta標籤中沒有大小寫之分,name=”Robots”表示所有的搜尋引擎,可以針對某個具體搜尋引擎寫為name=”BaiduSpider”。content部分有四個指令選項：index、noindex、follow、nofollow,指令間以“,”分隔。

INDEX 指令告訴搜尋機器人抓取該頁面；

FOLLOW 指令表示搜尋機器人可以沿著該頁面上的連結繼續抓取下去；

Robots meta標籤的預設值是INDEX和FOLLOW,只有inktomi除外,對於它,預設值是INDEX,NOFOLLOW。

這樣,一共有四種組合：

＜meta NAME="ROBOTS" Con_TENT="INDEX,FOLLOW"＞

＜meta NAME="ROBOTS" Con_TENT="NOINDEX,FOLLOW"＞

＜meta NAME="ROBOTS" Con_TENT="INDEX,NOFOLLOW"＞

＜meta NAME="ROBOTS" Con_TENT="NOINDEX,NOFOLLOW"＞

其中

＜meta NAME="ROBOTS" Con_TENT="INDEX,FOLLOW"＞可以寫成

＜meta NAME="ROBOTS" Con_TENT="ALL"＞；

＜meta NAME="ROBOTS" Con_TENT="NOINDEX,NOFOLLOW"＞可以寫成

＜meta NAME="ROBOTS" Con_TENT="NONE"＞ 

需要注意的是：上述的robots.txt和Robots meta標籤限制搜尋引擎機器人（ROBOTS）抓取網站內容的辦法只是一種規則,需要搜尋引擎機器人的配合才行,並不是每個ROBOTS都遵守的。

目前看來,絕大多數的搜尋引擎機器人都遵守robots.txt的規則,而對於Robots meta標籤,目前支援的並不多,但是正在逐漸增加,如著名搜尋引擎GOOGLE就完全支援,而且GOOGLE還增加了一個指令“archive”,可以限制GOOGLE是否保留網頁快照。例如：

＜meta NAME="googlebot" Con_TENT="index,follow,noarchive"＞

表示抓取該網站中頁面並沿著頁面中連結抓取,但是不在GOOLGE上保留該頁面的網頁快照。