百度Google蜘蛛機器人活動規律

來源:互聯網
上載者:User
我們大家一定知道百度和Google有一個蜘蛛機器人,換句話說就是百度和Google的一套收錄網站的程式或系統,我們都稱它為蜘蛛機器人,他們是程式不是人,也不是神,所以它們總有自己的活動規律,下面就來談談。

 一.網站收錄初期

  網站被百度收錄初期的活動規律,首先進入你提交的網站首頁或頁面,然後從源檔案中分析提取出你提交頁面下的內鏈,然後逐一的提取你的網頁。當然它不會一天兩天的就給你把你加的內容,全部爬行完,它們會分不同的時間段進行爬,然後給你計算出蜘蛛在你網站的啟用時間及時間的長短。如果百度蜘蛛機器人一旦發現你網站有死鏈或打不開的網頁,會馬上終止爬行。所以我們網站的初期,一定不要加外鏈或少加。網站沒有建設好或內容不是很多的時候,一定不要放到網上去,網站放到網上去之前一定要檢查一下是否有死鏈。我們一個網站放到網上去的時候,一定要是一個成形了的網站、有足夠內容的網站。因為這樣的網站你放上去的時候,然後在去向百度提交收錄,他們第一次來,會給你網站留下一個好的印象。這樣有一個好印象的話,他們會來第二次,第三次......。就向我們一個人遇見一個新朋友似的,第一印象好的話,以後辦事方便些,一個道理。

  當然,Google收錄網站初期的活動規律,要比百度要強一些,Google的蜘蛛似乎要比百度的要勤。但還是和百度一樣,一旦發現有死鏈,或打不開網頁,就會馬上終止。不過他們判斷一個網頁是否打不開的時間好像要比百度的要長。我原來用一個新網站做過測試,百度一旦開啟的時間超過8秒左右,Google是十秒左右,就判斷死鏈或無效網頁。所以說我的在做網站的時候,原始碼能少的一定要少,不要加一些無用的代碼進去,因為那樣它們開啟的時間長了就會判斷無效的。

  二.網站收錄穩定期

  網站被百度收錄穩定期後,蜘蛛機器人首先從首頁進入,每天會有十分之一的爬行是從首頁進入,如果與上次的首頁同就馬上停止。Google就不一樣,還是和前面一個階段一樣,從首頁進入然後進行大量的分析爬行。所以說我們在做網站的後期,也就是更新網站內容的時候,一定要分不同時間段更新,讓你更新的內容都出現在首頁,不要一下全部更新了,有一些頁面出現在首頁的機會就沒有,那樣的話,百度就會把你加的內容給遺忘的。在這個時間你就會發現他們蜘蛛機器人給你網站的一定時間規律,也就是你在什麼時候加內容,他收錄的時間與你加內容的時間最短。只要你長期的注意一下,你會發現他們來的規律的。當然說了這麼多,你不是很細心的人,要發現這些規律是有一定難度的。給大家推薦一款源碼露珠CMS,這個建站源碼後台能比較清晰的記錄各大搜尋機器人的痕迹,有各個機器人來訪的時間,來訪的頁面,對來訪的詳細資料作了分析,進行24小時時間段分析,對各個頻道的分析,對你所加的內容的版塊進行分析。對各大搜尋機器人喜歡你網站的哪個頻道,哪個版塊都進行了分析,同時也給你提出了補救其它頻道和版塊的建議,哪個時間加內容收錄最快等等。

  百度在穩定期第一天收錄的頁面,經過分析後會在第二天的早上8:30左右的時候全部給你放出來。Google就不一樣了,一般會在第二天的七點之前給你放出來的。

  綜上所述,我們的網站要想百度和Google大量的收錄,我們只要用心去對待它們的蜘蛛機器人,我想總一天它們會喜歡你網站的。在此祝大家好運。以上就是我本人的一些看法,談得比較膚淺,歡迎大家給我指正,與我交流



相關文章

Beyond APAC's No.1 Cloud

19.6% IaaS Market Share in Asia Pacific - Gartner IT Service report, 2018

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。