如何控制搜尋引擎訪問和索引你的網站？

精細控制
除了robots.txt檔案讓您為你的一大堆檔案簡潔明了給出指令外，你也可以利用robots META 標籤來精確控制對你的單個網頁的訪問。為了做到這一點，你只需要對你的HTML網頁添加特定的META標籤來控制怎樣對單個網頁索引。歸而總之， robots.txt和META標籤讓你更靈活地表達複雜的訪問規定變得比較容易。

一個簡單的例子
這裡是一個簡單的例子，它是一個robots.txt檔案。

User-Agent: Googlebot
Disallow: /logs/

User -Agent行指明下面部分的一套指令只是為Googlebot。所有主要搜尋引擎都閱讀並聽從你放在robots.txt的指令。只要你願意，你可以為 不同的搜尋引擎指定不同的規則。Disallow行告訴Googlebot不能進入你網站的檔案日誌子目錄。你放在日誌目錄中的內容將不會顯示在Google搜尋 結果中。

禁止訪問單個檔案

如果你有一篇只有註冊使用者才能訪問的文章，你一定想讓它排除在Google的結果之外。為了做到這一點，你只需要在該文章對應的HTML檔案中添加一個META標籤。該檔案的代碼的最開始有點像：

<html>
<head>
<meta name="googlebot" content="noindex">
...

這段代碼會阻止Google索引此檔案。標籤META特別有用，如果你只被允許編輯單個檔案，而不是全站的robots.txt。他們還允許你逐頁地指定複雜的存取控制規定。

瞭解更多

你可以在http://www.robotstxt.org/和Google的站長協助中心找到更多有關robots.txt的更多有用資訊，包括：

 

• 如何構造一個robots.txt檔案
• 對Google使用的每個User-agent的描述
• 如何使用模式比對
• 要多久我們才重新抓取您的robots.txt檔案？

我們也在我們的站長部落格 裡寫了一些關於robots.txt的文章，也許對你有用。例如：

• 使用robots.txt檔案
• Googlebot匯總

這裡還有一個主要搜尋引擎使用的機器人的有用清單：http://www.robotstxt.org/wc/active/html/index.html

下次… …

即將推出：關於詳述robots和metatags使用的文章，和關於一些對常見情況的具體例子。

文章引用：Controlling how search engines access and index your website