Robots.txt阻止索引15天后各搜尋引擎的表現

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

去年10月份的時候做了一個女裝方面的網站，因為收入方面不太如意，於是決定廢棄用來做個博客寫日記，順便做個試驗，看看各主流搜尋引擎的表現。 本文主要目的是想看一下一直存在爭議的robots協定在各大搜尋引擎中的份量，權當娛樂。 具體操作過程是這樣的，改版當天開始在robots.txt添加如下語句：

User-agent: *

Disallow: /

這次改版並未更換程式，Asp語言的zblog程式，只是更換了一套範本，首頁、分類、文章頁面的佈局有較大的差異，新建了幾個新分類，然後刪除伺服器上的靜態文章目錄。 之後是保持每天一篇純原創的頻率更新內容，歷經15天，通過site指令查詢得到各搜尋引擎的表現，如下：

1、Google搜尋引擎

以下是我觀察得到的一些資訊：

內頁收錄變化特別慢，3000多的收錄，還有1600多條。 首頁位址也還在，但是不顯示description資訊，只提示「由於此網站的 robots.txt，系統未提供關於該結果的說明」。 沒有收錄新內容。

2、百度搜尋引擎

以下是我觀察得到的一些資訊：

百度方面反應也比較慢。 原先收錄了40頁，現在還有10頁，首頁已經沒了，快照沒了。 也沒有收錄新內容。

3、360綜合搜索

以下是我觀察得到的一些資訊：

內頁無什麼變化，收錄一直保持在500多頁，只是首頁快照更新及時，保持隔天快照，沒有新內容收錄。

4、搜狗搜索

以下是我觀察得到的一些資訊：

內頁收錄已經全部刪除，只余一個首頁。 快照更新緩慢，且標題不更新。 不收錄內頁。

5、soso搜索

以下是我觀察得到的一些資訊：

收錄沒有什麼大的變化，首頁快照更新及時，並少量收錄內頁。 綜合以上資訊來看，各搜尋引擎的表現都不大相同。

谷歌、百度兩大巨頭雖然說遵守robots.txt協定，但是在刪除已有收錄內容方面還是比較慢，可以說是遲鈍。 新內容是倒是按著robots協定不再收錄。 360綜合搜索以及soso搜索則有點不鳥什麼robots協定，舊的收錄沒刪除，快照還是照樣更新及時，偶爾還收錄點新內容。 搜狗居然反應強烈，刪除了內頁，停了快照，似乎最遵守robots.txt協定，有點搞笑。

本文由[有貨街]原創，位址：HTTP://www.yohojie.com/post/312.html。 歡迎交流