機器人的meta標記[翻譯]

原文地址：http://javascriptkit.com/howto/robots2.shtml
如果你的網站供應商禁止你上傳robots.txt檔案到根目錄，或者你僅僅是希望部分定製搜尋爬蟲對於你網站上的一些頁面的動作，有一個可以代替robot.txt的方法，那就是使用robots的meta標籤。

建立你的機器人meta標誌
其實，機器人的meta標誌和其他的meta標誌沒有什麼兩樣，一定是添加在你的頁的head部分的。

<meta name="robots" content="noindex,nofollow" />
這裡有一個contents屬性可以使用值的列表

值	描述
(no)index	是否允許爬蟲索引該頁面，允許的值: "noindex"或"index"
(no)follow	是否允許爬蟲跟蹤頁面中的連結並且挖掘它們，允許的值"nofollow"或"follow."

這裡有一些例子
1> 以下代碼不允許對當前頁索引，也不允許爬蟲對超連結的頁面進行跟蹤
<meta name="robots" content="noindex,nofollow" />

2> 不允許頁面索引，但允許爬蟲對超連結的頁面進行跟蹤
<meta name="robots" content="noindex,follow" />

3> 允許頁面索引，但不允許爬蟲對超連結的頁面進行跟蹤
<meta name="robots" content="index,nofollow" />

4> 最後，有一個簡單的方式來聲明1>中的東西
<meta name="robots" content="none">