避免讓網站進入蜘蛛陷阱的方法

來源:互聯網
上載者:User
關鍵字 蜘蛛陷進

摘要: 站長們會考慮要如何給網站優化,往往有時網站在設計過程中,用到的一些技術方法不合理,這些方法又會影響到蜘蛛的抓取,對於這樣的技術手段,我們要如何去避免,不讓網站進入

站長們會考慮要如何給網站優化,往往有時網站在設計過程中,用到的一些技術方法不合理,這些方法又會影響到蜘蛛的抓取,對於這樣的技術手段,我們要如何去避免,不讓網站進入陷進。 網站的設計過程中,要儘量避免對搜尋引擎不友好的,提高網站的蜘蛛爬行速率,提高網站整體效果。

首先:避免flash。 很多圖片網站或是產品網站,需要用到flash的動畫,動畫產生的效果的確是可以提高使用者體驗,使用者是可以讀懂flash,但是對於蜘蛛來說是無法識別的,蜘蛛只能抓取html裡面的代碼,對於flash裡面的文字資訊是無法抓取的, 也無法呈現給搜索使用者。 如果網站的首頁一開始就是設置的flash動畫,那蜘蛛是根本無法繼續抓取網站其他內容,如果對於一些網站是必須要flash的,那我們只能在首頁再設置指向html的連結,引導蜘蛛對其他內容進行抓取, 否則網站就進入到蜘蛛的陷阱裡面。 可能近幾年來蜘蛛在flash的抓取方面做了很多進步,但是對flash抓取仍然有障礙,站長們要想更長久的運營網站,還是儘量的少用到flash。

其次:避免欺騙跳轉。 很多網站為了謀取眼前的利益,給網站加上各種樣式的跳轉,可能是彈窗式的廣告,可能是JS的跳轉等,蜘蛛對這些跳轉都是特別反感的。 如果你的網站跳轉是為了提高使用者的體驗,這時可以不用考慮到蜘蛛的抓取,如果不是那最好是不要採取這樣的跳轉方式,對搜尋引擎來說是不友好的,對於你的使用者來說更是不友好的。 這樣的做法往往會出現在資源下載站,或是一些垃圾的小說網站,使用者點擊去的都是其他網站的連結,或是欺騙的下載連結,這樣會嚴重的影響使用者的體驗。 對於網站的跳轉來說,蜘蛛唯一認可的就是網站的301跳轉,用來改變網站的權重,其他的跳轉站長們還是要慎用的。

再次:避免frame結構。 技術人員在設計網站時,會了能更好的管理網站的結構,會用到frame的框架,雖然這樣的框架結構有利於管理,但是和flash一樣,蜘蛛抓取時只能識別html的代碼,其他的都是很難識別的。 對於frame框架不是說網站不可有,這些技術可以用到網站不想被蜘蛛識別的地方,比如自己網站的一些廣告連結,比如一些站群操作中的友鏈中,可以降低網站權重的流失,因為是自己的站台連結,別人也不會說你是不誠信的, 但是這樣的框架不要用到和外部的友情連結中,這種是很不誠信的,蜘蛛抓取不到,對別人來說也是很不好的,站長們要酌情考慮的去使用,別讓網站進入陷進中。

最後:避免細節陷進。 網站優化過程中需要注意的細節很多,這些細節中存在的陷進也是很多的,比如:圖片的ALT屬性,忘記添加就會導致蜘蛛無法抓取;網站的動態URL位址,帶有問號、等號、參數的動態連結,對蜘蛛的抓取是不友好的;網站的JS跳轉, 很多時候會被用到導航上,但是蜘蛛的抓取就會產生一定的困難,何不用CSS代替;網站的內鏈結構,權重不高的網站,蜘蛛抓取的深度在3-4層,那這些網站就應該要建立網狀的導航系統;還有就是網站一些作弊的手段, 對網站來說這些作弊的手段都是陷進,是正規的網站想長期運營的網站,還是不要使用作弊的手段,網站進入審核期以後,就會很難出來,這是賠了夫人又折兵,得不償失。

網站的設計要考慮到使用者的體驗,也要考慮到蜘蛛的抓取,不得不使用的一些設計,那就要想辦法彌補,儘量能讓蜘蛛能抓取到我們的資訊,儘量提供蜘蛛對網站的友好程度,提高蜘蛛在網站的抓取次數,和抓取的數量,這樣網站優化才會更友好。

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.