解析各大搜尋引擎對robots.txt檔的反應

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

一直都沒有看到個具體的robots.txt檔在各個搜尋引擎的執行情況如何，最近，我特意針對robots.txt檔對於各大搜尋引擎做了個實驗，看他們這一自己說是明文遵守的協定，落實到實際中去執行又是個什麼狀況。 下面我就針對各大搜尋引擎對robots.txt檔的反應測試資料，給大家詳細講解下，以供大家平時參考。

首先這個網站在百度，GOOGLE，yahoo，搜狗，搜搜，必應，有道收錄都正常，然後我直接在robots.txt檔中設置禁止所有搜尋引擎蜘蛛訪問和爬行收錄本站。 自從把這個檔放上去的那天起，反應速度最快的就是GOOGLE，這也在我的意料之中，GOOGLE不管是做什麼事情，處理完畢達到自己想要的效果反應速度都是一流的理想。 甚至在做GOOGLE排名的時候，自己的操作速度和預期GOOGLRE排名效果的反應速度同步，最盡人意的莫過如此了。 這也就是很多人不理解，為什麼做優化有時需要很多時間，因為各個不同的搜尋引擎對資訊的抓取反應存在很大差別，所以有些時候，你什麼都做好了。 你還得去等待搜尋引擎來抓取，搜尋引擎抓取後才開始分析你這些資訊的品質，品質高才會增加到網站權重上去。

所以要在最短時間內做出最高效理想的SEO效果出來，應該具備正確的決策能力和高效的執行能力，自接到網站優化的那一刻起，你所做的每一件事都是對網站能起到效果的，這些事情做下去後，對網站能起到多大的作用，在優化的過程中， 針對出現的不同現象，能及時做出準確的處理方式，時刻對整個網站的優化操作做出風險評估把控(因為搜尋引擎有很多陷阱等著你去跳)。

接著說其他搜尋引擎對robots.txt檔的反應，GOOGLE只用了4天時間，刪除了整個功能變數名稱的網頁收錄，隨後是騰訊SOSO過了6天也執行刪除了整個功能變數名稱的網頁收錄，接著是必應、搜狗7天時間刪除了功能變數名稱收錄。 到目前為止網易有道，百度沒有絲毫動作，在百度只有幾個關鍵字的排名稍微後退了一點，但沒有刪除任何功能變數名稱網頁收錄。

　　通過這個實驗分析得出的資料，希望大家以後在操作如此類似的robots.txt問題時，能起到參考作用。 目前鑒於百度和有道還沒有絲毫變化，所以需要繼續觀察一段時間，等後期有了結果，再做個百度詳細robots.txt專題文章描述，希望大家繼續關注。 本文水晶楓葉SEO博客原創，保留版權 HTTP://www.seocnz.com/seo/ 轉載請保留連結。