Google索引新站的能力不如百度？

　　本人以前是Google的忠實使用者，但我也不排斥百度，甚至常見的搜尋都用百度。理由很簡單，百度搜尋一些生活中的小問題，還是很好用的，而且速度快，可以使用其頁面緩衝功能。至於Google，一般是搜尋英文內容，或者百度實在搜尋不到滿意內容的時候才會用它。Google的技術不容置疑，Google的產品當然也是引領著當今互連網的潮流。本人曾經研究過搜尋引擎的相關技術，深知其中的水深水淺。當然，百度也不是吃素的，技術那也是相當了得的。Google在全世界範圍來說，是絕對老大。但這個絕對老大在中國卻只能甘當萬年老二？？？其實我是一直堅信Google能在某天超過百度，在中國也做一回老大。但或許這隻是癡人說夢而已，Google在中國遠沒有這麼強勢。個人感覺，中國只是Google全球戰略的一部分，而對百度而言，中國就是全部。從這兩者對中國市場的態度來看，也能部分理解Google為什麼在中國這麼疲軟。再者，據朋友說，百度在中國的渠道做得很好，好到已經讓Google的人開始有些絕望了。可能有的人會說百度不太地道，但這就是事實。

　　好了，扯得有點遠了，還是言歸正傳吧，說說我發現的問題。從我們網站上線也快有一個月了，其間通過自己和朋友寫Blog的形式，在網上也存在不少介紹我們網站的文章和連結。由於推廣的需要和本身對此比較感興趣，我一直在觀察各大搜尋引擎索引我們網站的能力。這裡主要考察索引的速度，精度，以及索引的網頁數目。對比發現，百度的索引速度是最快的，上線不到一周就能檢索到我們網站的首頁，其次是雅虎，搜狗，有道。至於Google和Live Search到現在也幾乎無法搜尋到。我仔細分析了網站日誌，發現Baidubot是最勤快的，每天都是光顧網站數次。Sogou也比較勤快。一開始，我怎麼也沒看到標識為Googlebot的爬蟲，我再仔細看了我的robots.txt檔案，上面明明寫著歡迎各大爬蟲光臨的啊。突然，有一天看到有一個表示為Mozilla 5.0的bot在短時間內發送了大量的請求過來，我一查IP，說是“北京飛翔人資訊技術有限公司”，好像是趕集網的IP。到網上一查，很多人說這就是Google的爬蟲！！狂汗了一把，Google的爬蟲為什麼不標識為Googlebot呢？而且，作為一個爬蟲程式，為什麼會在這麼段的時間裡發送了大量的請求呢？這種高強度的爬取頁面，肯定會給網站帶來一定的壓力。就在昨天，我看到了Googlebot的身影，明確標識為Googlebot的一個爬蟲。我相信，這就是Google的爬蟲。這裡我有一個猜想，是不是對於剛上線的新網站，Google會用一個二三流的爬蟲過來，能爬幾個網頁是幾個網頁。等你網站存在一段時間了，再用他們正式的爬蟲過來。我估計，這也是Google索引新網站不如百度的原因吧。不知道，Google為什麼會對這樣的新網站區別對待。至於其他幾個搜尋引擎，像雅虎，搜狗，有道，Live search什麼的，索引的頻率也不是很高。感覺還是百度對新站，至少是新的中文網站敏捷一些。當然，這隻是根據我的經驗得出的結論，不知道其他站長是否有類似的經曆，不妨大家一起來分享一下。不妨大家探討一下如何能讓Google快速索引你的新網站？

 

其他文章導讀：

1. 史上最強的美名騰智能起名成功發布

2. 美名騰介面升級了

3. 探密詭異的HTTP Referer總是為空白的原因

4. 為你的網站定製一套統一的異常處理機制

5. 由ViewStateException: The client disconnected想到的