baidu蜘蛛足跡分析

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

繼寫了《最近baidu和google的收錄差異 www.admin5.com/article/20080619/89812.shtml 》之後，開始思索，尋找...... 為什麼百度不鳥我?

網上有網友寫道baidu有個15天的觀察期，不知道是不是真的。 今天下午登陸了伺服器，查看分析IIS日誌檔。 發現google和baidu都在我的網站上線第三天，也就是6月14日就拜訪了我的網站，並且第一個訪問的檔都是robots.txt，說明robots.txt檔是何等的重要。 直到今天才發現yaho拜訪了我的robots.txt檔，其他搜尋引擎沒發現足跡，這就是為什麼國內搜索市場baidu和google占了8成以上市場的原因。 我估計如果不是我申請yahoo的訪問量統計工具，它不知道會不會拜訪我。

baidu和google的行動速度算是相當快，baidu的行動也毫不比google弱。 從14號開始，這兩個傢伙基本上每天都訪問我的網站，當然google的訪問量相對來說比較頻繁，但baidu也不弱到哪裡去，基本上也是天天訪問。 具體觀察了今天的日誌，從淩晨0點8分開始，baidu蜘蛛就不斷的來騷擾我睡覺，一直到下午17點，訪問間隔基本上都是1個小時，從一開始只訪問首頁，到訪問頻道頁，基本上都是成功的。 隨便摘了幾條資料如下：

2008-06-16 15:07:23 W3SVC1 202.104.188.69 GET /plus/rssmap.html - 80 - 220.181.32.5 Baiduspider+(+HTTP://www.baidu.com/ search/spider.htm) 200 0 0

2008-06-17 04:09:07 W3SVC1 202.104.188.69 GET /index.html - 80 - 61.135.168.39 Baiduspider+(+HTTP://www.baidu.com/search /spider.htm) 200 0 64

2008-06-17 10:44:48 W3SVC1 202.104.188.69 GET /html/info/index.html - 80 - 220.181.32.5 Baiduspider+(+HTTP:// www.baidu.com/search/spider.htm) 304 0 0

紅色數位200表示正常請求完成，兩個0不知道啥意思，64也不知道啥意思，哪位知道請解釋一下，萬分感謝。 304表示未修改，就是未按預期修改文檔，baidu還要看看你的內容是否經常更新，所以經常更新網站內容也是非常重要的。 基本上沒發現4xx(客戶機中出現錯誤)和5xx(伺服器出現錯誤)等錯誤資訊，可以說相對比較友好。

那麼為什麼baidu遲遲不肯收錄我呢?到底它在等什麼?在觀察什麼呢?我自己的想法是：

第一、baidu對新站一定要觀察一段時間，不管你是什麼內容，都不收錄，但是蜘蛛照常訪問，等過了這段觀察期後，馬上就會放手大幹了;

第二、就是網站原創的內容比較少，這個想法有點不對，因為趣飛商旅網(www.trip36.com )除了航空資訊頻道外，特價機票頁面是原創內容來的，首頁也是，為什麼一開始就爬了首頁，卻不收錄呢?有點想不通， 只能用第一個想法來解釋;

第三、聲明一下，我的功能變數名稱是新註冊的，排除以前被罰記錄，我的伺服器使用的是獨立ip，排除多個網站使用同一ip受到牽連的可能性。

所以，講到最後，難道真的像網友說的要等15天?大家共同探討一下，希望有經驗的老鳥分析一下，或給點建議，萬分感激!偶是新鳥，偶也繼續觀察，繼續分享，謝謝各位支援!