通過新浪「遮罩門」來學習正確的robots.txt檔寫法

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

前一段時間由於部分站長對robots檔的誤讀，導致了一則虛假消息的誕生--「新浪封殺門」，消息稱新浪博客開始封殺百度蜘蛛，其判斷的依據只不過是新浪博客在的robots檔中有一段" User-agent：Baiduspider "，這個其實上傳于2005年的robots迷惑了不少站長，真的以為新浪博客開始封殺百度了，一時間網上到處都是外鏈不好做的呼聲，其實如果你熟悉robots的寫法， 就可以很輕鬆的識別這條虛假資訊。

robots.txt檔放置於網站根目錄下，搜尋引擎蜘蛛訪問一個網站後最新查看的就是robots檔，它就相當於你網站的「門衛」，如果「門衛」拒絕搜尋引擎蜘蛛進入，則搜尋引擎無法收錄你網站的任何介面。

在「百度搜索説明中心」(HTTP://www.baidu.com/search/robots.html)中，

對如何禁止百度蜘蛛訪問是這樣定義的 ：

User-agent: Baiduspider

Disallow: /

僅允許百度蜘蛛的訪問：

User-agent: Baiduspider

Disallow:

禁止百度蜘蛛訪問特定目錄：

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

結合這3種語法，我們再來看看網上流傳的新浪博客的robots寫法：

User-agent： Baiduspider

Disallow： /admin/

Disallow： /include/

Disallow： /html/

Disallow： /queue/

Disallow： /config/

其真正的目的只是禁止百度搜尋引擎訪問5個後臺目錄，和內容頁並沒有關係，因此說那個robots並不是封殺百度蜘蛛的，而是告訴百度蜘蛛要「去改去的地方」。

一個正確有效的robots檔可以説明你更好的被百度收錄，各位新手站在朋友如果對robots還不熟悉，可以到「百度搜索説明中心」(HTTP://www.baidu.com/search/robots.html) 下載標準案例，將裡面的內容改成自己的網址即可。

以上是我的一點體會，希望有朋友們轉載的時候可以保留我的連結HTTP://www.jfbest.com 多一份保，留多一份口碑，多一份運氣，多一份財富!謝謝!