苦逼站長與robots不得不說的故事

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

小貓今天想說的就是一個站長小夥伴們都非常熟悉的東西：robots檔，相信小夥伴們對這個檔都不陌生吧!但是呢小貓就發現，很多的站長小夥伴都忘記了robots的重要性，robots表示很生氣，後果很嚴重。 小貓的SEO都是自學的，看到robots檔的問題以後，我就問了一些SEO大 神，robots檔很重要嗎?當時，這位大神就對小貓語重心長的說：robots可以成就你的網站，也可以毀掉你的網站，所以， robots還是很重要的。 小貓用下面的小故事來告訴大家robots對站長小夥伴多麼的重要，這個故事是發生在別人身邊的，但是小貓為了敘述方面，就改為第一人稱了，小夥伴們 就不要在意這些細節了哈!

閒話少說，小貓來和大家聊聊robots對我們網站的一些影響。 在A5站長網群裡有一位小夥伴跟小貓的關係比較好，有一次，他的網站有上千的收錄的，但是到一個下午以後，收錄突然變為0了。 當時他非常的緊張，因為網站的收錄沒有了，網站的流量也沒有了，幸幸苦苦一個多月的時間，到頭來發現都是井中月水中花，看得見摸不到。 當時這位小夥伴就很灰心，就跑到A5站長群裡聊天，問其他的站長小夥伴是怎麼回事，網站被K了啊，怎麼辦呢! A5站長群的小夥伴們還是很熱心的，有很多人幫他檢查原因，經過一段時間的 檢查以後大家發現了原因，那就是他網站的robots檔案檢測了百度蜘蛛抓取網站頁面。

現在就有小夥伴想問了：為什麼會出現這種情況 呢?原因就在大他在做網站的時候robots檔是完全遮罩了百度蜘蛛抓取的。 相信大家都知道一個事實，就是當你寫好了robots檔規則，遮罩了百度 蜘蛛的時候，發現百度還是會抓取的，道理很簡單，百度畢竟不是人，不能做到人一樣的智慧化，所以百度還是會派蜘蛛來抓取頁面的，但是站長小夥伴也別慌， 等過段時間以後，百度就會把已經抓取的頁面(robots檔案檢測的)從自己的索引庫中刪除，百度也會有一個發現的過程，然後改正、糾錯。

這位小夥伴還問了一句話：為什麼會去遮罩百度蜘 蛛啊?因為網站是剛做好的，而且他本人也有學習SEO，所以也知道關於robots檔方面的內容，明白做一個新網站可以暫時遮罩百度蜘蛛，等網站做好了在提高給百度， 並且把robots檔修改下，允許百度抓取。 可能最後是他忘記了吧，把這麼關鍵的一步給忘記了，導致他幸幸苦苦做的網站和外鏈一夜回到解 放前了。 不做死就不會死啊，那段時間他真的很痛苦，整個人的情緒也不是很高。

小貓想通過這個小夥伴的經歷提醒大家去重視 robots檔這個問題。 robots很重要，請不要輕易的忽視了，順便小貓也說說自己做robots檔的一些經驗，我記得在網站剛開始的時候，小貓 也沒有注意robots檔這個東西，覺得這個東西無所謂啦。 然後通過一段時間自己摸索，小貓發現自己錯了，小貓開始重視這個問題，然後把網站上一些垃圾 的、不想推的頁面和圖片全都給遮罩了，頁面主要都是動態的，大家都知道百度喜歡的是靜態的頁面，如果你的網站是動態的， 會造成搜尋引擎的多次抓取，給度娘 的態度很不友好，浪費的蜘蛛的時間和資源，你說度娘會對你的網站有所青睞嗎?還有圖片也是採集其他網站上的，百度會抓取一些原創圖片，如果你的網站再次使 用，就會導致百度認為你的網站是抄襲和偽原創的 ，這導致的後果不用小貓在這裡囉嗦了吧?

小貓總結：

說了這麼多，小貓只是要提醒站長小夥伴重視robots檔，這關係到自己網站的流量，網站要是沒有流量了，那麼站長小夥伴還做網站幹嘛?這也關係到養家糊口嘛，嘿嘿，小貓說的有點遠了，今天就白話到這吧，我們明天再見!

本文由中國防水塗料網 HTTP://www.chinafstl.com/小貓原創首發，轉載請注明!