我看到幾個常見的錯誤彈出。一個錯誤的想法,索引頁,你應該阻止抓取路徑。有意義的,對不對?如果你不想要的頁面索引,為什麼你會希望它爬?不幸的是,雖然這聽起來合乎邏輯的,也是完全錯誤的。讓我們來看看一個例子...
例如:產品評論
假設我們有一個體面的大型電子商務網站,與獨特的產品1000頁。這些網頁看起來像這樣:
每個產品都有自己的URL頁面,當然,這些網址如下結構:
http://www.***.com/product/1
http://www.***.com/product/2
http://www.***.com/product/3
http://www.***.com/product/1000
現在讓我們說,每個這些產品的網頁連結到該產品的評論頁:
這些審查的網頁也有自己的,獨特的網址(並列產品ID),像這樣:
http://www.***.com/review/1
http://www.***.com/review/2
http://www.***.com/review/3
http://www.***.com/review/1000
不幸的是,我們剛剛剝離出1000個重複的網頁,每次評審的頁面是真的只是一種形式,有沒有獨特的內容。這些審查的網頁有沒有搜尋價值,只是稀釋我們的索引。因此,我們決定是時候採取行動......
“修複”,第1部分
我們希望這些網頁了,所以我們決定使用noindex元(元機器人)標籤。因為我們真的,真的要完全頁面,我們也決定nofollow的審查連結。我們首次嘗試修複結束,看起來像這樣:
表面上,它是有道理的。這裡的問題,雖然 - 那些紅色箭頭正在削減路徑,可能阻止蜘蛛。如果蜘蛛審查頁面永遠不會回去,他們永遠也讀了NOINDEX,他們不會去索引的網頁。最好的情況下,它會需要很長時間(已去指數化的時間太長,對大型網站)。
修複,第2部分
相反,讓我們離開路徑(我們應遵循的連結)。這種方式,將繼續爬蟲訪問的頁面,重複審查的URL應該逐漸消失:
堅持下去,在這個過程中仍然需要一段時間(周,在大多數情況下)。監視您的索引(在“site:”操作符)每日 - 你要找的隨著時間的推移逐漸減少。如果這發生,你是在良好的狀態。PRO提示:不要採取任何一天的“網站:”算太嚴重 - 它可以是不可靠的,不時。隨著時間的推移的趨勢看。以上內容由 www.guhele.com 飲食養生網在admin5首發,轉載請保留網址,謝謝!