百度蜘蛛機器人爬行量與收錄量的關係

來源:互聯網
上載者:User
大家一定都知道,百度蜘蛛機器人來爬行你網站的數量,遠遠大於收錄量,那麼它們之間到底有什麼聯絡,今天我們就來談談。

  一.初試期

  我在這點說的初試期,指的是網站開通到給百度收錄提交過後的一個星期,在這一個星期內,百度蜘蛛機人的活動方式是這樣的,首先百度機器人會來爬行的提交網站的首頁,然後過一會,在根據它分析的結果,有可能是一天或幾分鐘過後就在次來爬行,你首頁上的其它頁面。當然在這個階段,機器人爬行首頁次數會非常少,有可能一天只有幾次爬行首頁,主要是因為你網站上有很多連結,它得一個一個的爬。機器人的爬行量遠遠大於百度放出來的收錄量。

  二.穩定期

  百度把你的網站爬行得差不多的時候,我們就稱為穩定期,這個得根據你網站來確定,有時一個新網站可能一個星期就進入這個階段,有時要一個月。這個階段,百度蜘蛛機器人爬行首頁的次數會有明顯的增加,比如你網站在初試期機器人一天爬行首頁次數為5次,那麼在這個階段就有可能是10--50次。為什麼爬行首頁的次數為增加,那是因為你更新網站後,基本上所有的更新內容都會反映在首頁上,當然百度會從首頁入口。在這個階段機器人爬行量一般情況下是收錄量的十幾倍,當然你得減去爬行首頁的數量計算。

  三.成熟期

  百度一旦把你的網站拿入成熟期,你網站要想收錄量有很大的變化,基本上是不可能的,因為在這個階段,百度機器人只會爬行你更新的頁面,對於沒有更新原來的頁面,基本上是不爬行的,機器人都不爬行了,你想它還會有收錄嗎。根據不同的網站來,成熟期百度機器人爬行首頁的比例,基本上佔到了所有爬行量的五分之一以上,收錄量基本是是除去首頁爬行量的六分之一以上。所以說在這個階段我們更新網站內容時,一定要讓更新的內容上首頁,更新次數多一點,讓蜘蛛機器人每次來都有新內容所爬。



相關文章

Beyond APAC's No.1 Cloud

19.6% IaaS Market Share in Asia Pacific - Gartner IT Service report, 2018

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。