新站上線十二小時被收錄 分析蜘蛛爬行規律

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

今天早上使用site:www.wengerbag.com搜 索收錄時，發現威戈箱包網被 SOSO收錄了，距離上線12小時。 SOSO永遠都是那樣的善解人意!上線15小時後，goolge也收錄了威戈箱包網。 google對新人站果然夠友好!

其實9月8日晚上8點多威戈箱包網上線併發了外鏈後，從日誌上看到google機器人是幾分鐘之後8點28分就光顧了網站，百度蜘蛛半個小時後出 現，soso蜘蛛又晚了二十分鐘，即比google機器人遲到了五十分鐘後。

從蜘蛛爬行威戈箱 包網的情況看，SOSO很奇怪，首先是抓了robots.txt,然後就沒有了下文——是因為夜晚太繁忙了?一直等到淩晨一點，SOSO又抓取了 威戈箱包網的首頁及必要的腳本，然後又潛伏了起來。 早上8點，SOSO又來抓取了一下首頁。 這期間威戈箱包網沒有更新，所以首頁沒變化，SOSO也就再次 撤退。

google機器人也是先抓取robots.txt檔，然後立即抓取首頁。 一個半小時後花9點52分，google機器人再次出現還是抓取 robots.txt文化，然後抓取首頁。 又過一個小時到了11點04分，google機器人開始爆發了，它還是先抓取威戈箱包網的robots.txt 檔，然後抓取了目錄頁和其它的文章頁，比較奇怪的是，這些抓取並不是馬上完成的，中間有時間隔了一個小時。 所有頁面的抓取在淩晨一點前完成。 截止上午 11點發稿，google機器人沒有再來過威戈箱包網。

百度蜘蛛的抓取特點極為明顯。 從8日晚8點半到9日上午11點，百度蜘蛛共光顧威戈箱包網11次。 在長達11次的試探中，百度蜘蛛的試探規律很有意思，8 點56分抓取了首頁，半分鐘後再次抓取首頁，又過三分鐘再來，又過三分鐘再來，估計看到首頁沒變化，又過了半小時才來，然後又過了一刻鐘過來，接下來又是 一小時或一刻鐘一來， 10點48分百度蜘蛛全面撤退。 今天上午9點時，百度蜘蛛在兩分鐘內兩次光顧威戈箱包網首頁，大概見到首頁還是沒更新，近11點時又 過來抓取了一次。

百度蜘蛛來威戈箱包網每次都是直奔首頁，對robots.txt置若罔聞，說明百度蜘蛛還是有點暴力的——你的聲明我不在乎!同時對於一個新接觸的站，百度只關注首頁，對內頁不聞不問。

從三個蜘蛛的爬行規律來看，站長們應當及時更新網站，尤其是首頁，一定要保持每天的更新狀態。 對於新站，如果想要迅速引起蜘蛛的興趣，可以考慮「少食多 餐」的做法，每隔一段時間就發一篇文章，這個效果比一次性發出所有的效果好。