搜尋引擎統一Robots檔標準

搜尋引擎三巨頭打的不亦樂乎，但偶爾也合作一下。 去年Google，雅虎，微軟就合作，共同遵守統一的HTTP://www.aliyun.com/zixun/aggregation/9103.html">Sitemaps標準。 前兩天三巨頭又同時宣佈，共同遵守的robots.txt檔標準。 Google，雅虎，微軟各自在自己的官方博客上發了一篇帖子，公佈三家都支援的robots.txt檔及Meta標籤的標準，以及一些各自特有的標準。 下面做一個總結。

三家都支援的robots檔記錄包括：

Disallow - 告訴蜘蛛不要抓取某些檔或目錄。 如下面代碼將阻止蜘蛛抓取所有的網站檔：

User-agent: *
Disallow: /

Allow - 告訴蜘蛛應該抓取某些檔。 Allow和Disallow配合使用，可以告訴蜘蛛某個目錄下，大部分都不抓取，只抓取一部分。 如下面代碼將使蜘蛛不抓取ab目錄下其他檔，而只抓取其中cd下的檔：

User-agent: *
Disallow: /ab/
Allow: /ab/cd

$萬用字元 - 匹配URL結尾的字元。 如下面代碼將允許蜘蛛訪問以.htm為尾碼的URL：

User-agent: *
Allow: .htm$

*萬用字元 - 告訴蜘蛛匹配任意一段字元。 如下面一段代碼將禁止蜘蛛抓取所有htm檔：

User-agent: *
Disallow: /*.htm

Sitemaps位置 - 告訴蜘蛛你的網站地圖在哪裡，格式為：

Sitemap: <sitemap_location>

三家都支援的Meta標籤包括：

NOINDEX - 告訴蜘蛛不要索引某個網頁。

NOFOLLOW - 告訴蜘蛛不要跟蹤網頁上的連結。

NOSNIPPET - 告訴蜘蛛不要在搜尋結果中顯示解說文字。

NOARCHIVE - 告訴蜘蛛不要顯示快照。

NOODP - 告訴蜘蛛不要使用開放目錄中的標題和說明。

上面這些記錄或標籤，現在三家都共同支援。 其中萬用字元好像以前雅虎微軟並不支援。 百度現在也支援Disallow，Allow及兩種萬用字元。 Meta標籤我沒有找到百度是否支援的官方說明。

只有Google支援的Meta標籤有：

UNAVAILABLE_AFTER - 告訴蜘蛛網頁什麼時候過期。 在這個日期之後，不應該再出現在搜尋結果中。

NOIMAGEINDEX - 告訴蜘蛛不要索引頁面上的圖片。

NOTRANSLATE - 告訴蜘蛛不要翻譯頁面內容。

雅虎還支援Meta標籤：

Crawl-Delay - 允許蜘蛛延時抓取的頻率。

NOYDIR - 和NOODP標籤相似，但是指雅虎目錄，而不是開放目錄。

Robots-nocontent - 告訴蜘蛛被標注的部分html不是網頁內容的一部分，或者換個角度，告訴蜘蛛哪些部分是頁面的主要內容（想被檢索的內容）。

MSN還支援Meta標籤：

Crawl-Delay

另外提醒大家注意的是，robots.txt檔可以不存在，返回404錯誤，意味著允許蜘蛛抓取所有內容。 但抓取robots.txt檔時卻發生超時之類的錯誤，可能導致搜尋引擎不收錄網站，因為蜘蛛不知道robots.txt檔是否存在或者裡面有什麼內容，這與確認檔不存在是不一樣的。