善用Robots和404錯誤頁有效降低網站改版的影響

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

在講解這個話題之前，先說一說404錯誤頁面是怎麼產生的?當網站改版和調整，移動或者刪除了以前的網站目錄和網頁，而使用者和搜尋引擎蜘蛛再次訪問這些網頁路徑，會發現這些頁面不存在，這就是常說的錯誤頁面。 如果你的網站正確設置了404錯誤頁面，查看伺服器日誌會發現404狀態碼。 原網站頁面大量移除，這樣的行為對於訪客和搜尋引擎都是非常不友好的，被收錄到搜尋引擎資料庫中的頁面如果大量消失，非常有可能觸發沙箱和降權現象。

但在實際過程中，為了網站的長遠發展，網站調整和改版都是很難避免的。 二老貓最近買了一個老功能變數名稱來建一個護膚品網站，第二天查看IIS日誌發現蜘蛛每天大量抓取原網站的頁面，但是那些頁面和目錄都不存在了，為了避免功能變數名稱被打入沙箱和降權，建議有條件的朋友對錯誤目錄和頁面進行301永久重定向， 而我是採取了404錯誤頁面的方法來降低對新網站帶來的影響：

一、製作404錯誤提示頁

製作404頁面在醒目位置要明確注明「訪問的頁面已經不存在，您可以返回×××網站首頁進行流覽你所需要的內容」，並在這段說明中加入首頁位址連結來引導使用者，一方面可以降低使用者流失，另一方面可以和搜尋引擎蜘蛛對話， 告訴蜘蛛這是一個錯誤的的位址。 許多朋友將404錯誤頁面跳轉到首頁，二老貓認為這是存在風險不可取的，會被搜尋引擎誤認為做弊導致首頁降權。

二、404錯誤頁的測試

頁面製作好以後，命名為404.htm或者其它後輟傳入網站根目錄(由於個別虛擬空間要求不一樣可詳細查看空間說明和詢問主機商)，上傳完成後在虛擬主機管理面板上設置自訂404錯誤頁路徑。 傳上去後還沒有完事，有更重要的工作，那就是測試404錯誤頁面的有效性，許多網站提供「HTTP狀態查詢」，輸入一個不存在的頁面和或目錄然後檢測，當返回狀態碼為404說明是有效的， 如果不存在的路徑返回狀態碼為200那就需要注意，說明你的設置無效或者你的主機自訂404錯誤頁面有問題，需要聯繫主機商解決。 下圖為正確設置了404錯誤頁面返回的狀態碼。

三、設置robots禁止抓取錯誤頁面

對於一個功能完善和友好的新網站，404錯誤頁面是必須的，但是我現在的情況光製作了404還不夠。 301定向太麻煩，後來想到了robots，這是網站與搜尋引擎蜘蛛對話的一個重要檔，那我就在這個檔中告訴蜘蛛禁止抓取不存在的目錄和網頁。 查看空間訪問日誌發現蜘蛛主要是抓取名為mynist目錄下的檔，這個目錄是以前舊網站的靜態網頁存放目錄，弄清楚就好辦了，在robots檔中添加如下語句Disallow:/mynist/，意思是禁止抓取此目錄下的任何檔 ，再仔細查看日誌，將不存在的目錄和頁面一一添加在robots檔中。 百度站長俱樂部lee提到過，robots新添加的語句並不會立即生效需要過程的，正常情況下一周內生效，所以在修改後幾天內蜘蛛仍然會抓取已禁止的頁面是正常的。

在這個期間我每天為網站更新三篇原創內容，並每天做少量的外鏈，大概10天后網站首頁快照變隔天了，內容頁面也陸續被百度放出來，這樣的結果說明我的做法是正確的，我買來的老功能變數名稱並沒有被降權和打入沙箱長久觀察。 所以今天把這個方法分享出來，希望能給網站改版的朋友做個參考和提供一些説明。 本文由淘寶裂帛女裝HTTP://www.21rip.info小編二老貓原創首發，如需轉載請保留版權。