合理最佳化網站結構 吸引蜘蛛深入抓取網站內容

來源:互聯網
上載者:User

  蜘蛛來到網站是好事,但是通過蜘蛛訪問記錄我卻發現了很大的一個問題,往往蜘蛛來到網站之後抓取了4,5個頁面就離開了,這是怎麼一回事呢?相信很多站長都感覺到從6月份的事件之後,百度蜘蛛很不穩定吧,我的網站也是一樣,從6月份過後蜘蛛每次來了抓取幾個頁面就走了,這樣網站的收錄也一直沒有提升上去,最後我對網站進行了一次大檢查,然後對網站的連結進行了整理,還別說,經過整理後的網站,蜘蛛每次來抓取的頁面達到了20、30,下面我來分享一下我的檢查方法與整治方法。

  我覺得蜘蛛剛開始不深入的原因第一種可能是導航連結沒有設定對,蜘蛛不能夠通過導航連結進入你網站的深處,那麼它怎麼去抓取內容頁面呢?第二種可能是蜘蛛遇到了死連結,搜尋引擎蜘蛛準備抓取下一個頁面的時候卻無法爬行,那麼網站的死連結就成為了罪魁禍首,逼百度蜘蛛離開網站。第三種可能就是長時間的不更新網站內容也會導致百度蜘蛛厭煩。

  第一、重新設定網站導航連結

  網站的導航連結是使用者的指導線,也是搜尋引擎蜘蛛的指引線,良好的導航路線能夠協助搜尋引擎蜘蛛從網站的首頁逐步的貫穿網站的整個頁面,這樣就要求我們在設立網站導航的時候要一層層的設立,下面我來談談設定導航連結的幾點要求:

  1、導航連結要就近原則,我們在設定導航連結的時候不要將搜尋引擎蜘蛛看得太深奧了,其實他就是一個抓取的工具,而最容易抓取的是什麼,就是最近的事物。因此我們在利用導航連結的時候可以通過導航連結匯入下一層欄目連結,而下一層欄目連結才匯入內容頁面,這就是一層層的匯入方法。

  2、匯入的URL不要太複雜,我覺得網站的URL地址可以設定簡單一些,就用一款PHP的程式,目錄設定簡單一些,那麼蜘蛛在爬行抓取的時候也相對容易一些。

  第二、死連結必須清理,留下就是禍害

  死連結對網站的阻礙作用非常大,稍不注意死連結就有可能對網站產生致命的影響,檢查死連結可以利用chinaz中的工具,而清理死連結就相對困難一些了。現在我清理網站死連結的方法是通過遊覽器FTP中的搜尋功能,先在查詢工具中將死連結的地址進行複製,複製之後再通過遊覽器FTP的尋找功能,找到它在哪個檔案之中,最後在進行刪除,很多站長會說我這個方法很麻煩,但是我想說這個方法確實最有效方法,那些清理死連結的工具我也用過,大多都是假的,根本就無法完成清理工作。

  第三、文章內容連結進行合理布局

  我們在網站的文章內容之中也不要忘記了連結布局這種形式,在進行常規性的文章更新工作的時候我們可以將文章中的關鍵詞作一個連結指向,指向其它的文章內容頁面或者網站的欄目頁面,這樣搜尋引擎蜘蛛在抓取了這篇文章內容之後就會向下一篇文章內容進行抓取,這也間接性的提高了搜尋引擎蜘蛛抓取的頁面進度與力度,大家可以想一下,一個中心匯出來了無數的點,蜘蛛能不高興嗎?這代表他能夠吃到的食物更豐富,這也是我們在進行文章內容頁面連結布局的關鍵點。

  通過前面的三種方法讓網站的結構呈現遞進化的趨勢,通過層層引入、蜘蛛抓取的方法讓網站的收錄得到極大的提高,有時候搜尋引擎蜘蛛並不是不想抓取你的網站,而是你的網站垃圾太多了,每隔一周檢查網站的連結也是很有必要的,這也是提高搜尋引擎抓取力度的一個因素。本文來源於上海租車http://www.sqzlsh.cn,轉載請保留作者連結,謝謝。



相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。