親歷robots檔出錯導致新站不收錄

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

做SEO也已經一年了，感覺有點小水準了，應該可以自己操作1,2個站看看了，所以8月份下旬自己做了個淘寶，賣點小玩意，順便自己練練手，大家都知道，淘寶和百度都是有網上買賣業務的，是一種競爭關係，兩個肯定是互不相容的 ， 淘寶網不鳥百度，遮罩了蜘蛛的抓取，所以我就想著和別人一樣，自己另外建個站，然後在百度進行推廣，搞搞排名，為我的淘寶店多吸引些流量過來。 想做就做，9月初網站就準備好上線了，以下是網站上線前的優化過程：

首先我要做的是一個正規戰，所以我都是用正規的操作，上線前先用ROBOTS.TXT檔來遮罩蜘蛛的抓取，先把網站排版好，把原有的一些JS代碼和多餘的垃圾代碼刪除。 然後寫好網站標題，確認不會有出現堆砌關鍵字的嫌疑，接著在每個內容板塊都發4、5的原創或者偽原創文章，把網站填充好，別等上線時讓搜尋引擎覺得這網站沒什麼內容來抓取。 網站標題，內容，結構，佈局都搞定了，就網站可以上線了。

我先把ROBOTS.TXT改回來，允許搜尋引擎來抓取內容，然後發1、2篇原創文章上去，接著去各大搜尋引擎提交網站登陸口，接著再等到晚上去A5吸引蜘蛛的專門版塊，在晚上11:00到00:30的時間內，發佈原創軟文， 在上面添加自己網站的連結，快速吸引蜘蛛來爬取我的網站。 最後就坐等收錄了，我想最多明天、後天網站就會收錄的，結果意外發生了，第三天都沒收錄，感覺很奇怪，在這期間，我都有更新內容和發一些外鏈的，按道理說應該早就要收錄的。 我就上FTP下載了日誌來看，發現上線那天晚上12點的時候蜘蛛來過了，但爬取到robots.txt檔時就走了，很納悶，估摸著應該是robots.txt檔哪裡出錯了，就打開看看，下面是看robots.txt檔一些發現：

發現robots規則設置都沒有問題，再查看程式生成的robots.txt檔,與後臺設置一模一樣,進入webmaster查看抓取，在「拆取工具許可權」欄目中看到：第一行：? User-agent:*，然後結果是語法錯誤。 很明顯多出一個「?」，莫名其妙，實在不知道是什麼問題，沒辦法了，只能用絕招了，用類比搜尋引擎來爬取下網站，看看到底哪裡出問題了，果然看出問題所在，是由於txt檔的編碼不正確所致，寫入檔時採用了utf8編碼, 但搜尋引擎貌似對robots的utf-8編碼並不能正確理解，將程式改寫為ansi編碼之後問題解決終於解決了。

之後晚上再去A5引蜘蛛，順利收錄了，一個小細節導致我的網站晚了4天才收錄，如果沒發現，估計還更慘，所以平時我們做SEO的要多注意一些小問題，細節不能不當回事， 尤其是ROBOTS.TXT檔，是蜘蛛來網站第一個爬取的檔，一有差錯，就會出現大問題，也有許多人通過修改別人robots.txt檔，來危害我們網站，平時多注意看看，不過還好這個容易看出來，只要調日誌出來看看久能大致知道錯在哪，所以我們也要 養成多看日誌的習慣。

本文由迅達seo發佈在福州印刷HTTP://www.fzywzx.com，轉載請保留連接!