網站404頁面返回碼錯誤導致的網站被K案例分析

來源:互聯網
上載者:User

  我站平安的度過了8月的K站風波,然而卻在本月不幸中招,終於被K。

  近兩個月百度的演算法調整誤傷了很多高品質的網站。但我們依然認為這隻是百度的暫時調整,相信百度會認真對待每一個站,只要堅持提供高品質內容得到使用者認可,遲早有一天會恢複收錄並取得更好的排名。

  經過我詳細的研究,詳細研究各站長工具提供的資料,並分析百度蜘蛛訪問日誌等,發現本次被K事件的主因是由於網站大規模改版導致的檔案丟失導致的大量死鏈後本站對錯誤頁面的404返回碼處理環節出現了重大問題。次要原因是被某些被駭客入侵篡改的高權重網站的外鏈指向,以及很久前被駭客入侵的遺留影響。

  本次改版後伺服器使用新的伺服器系統,可提供更大的網站訪問承載量,但由於對新伺服器系統的部分功能不熟悉,導致配置完成後,輸入錯誤頁面後雖能正常跳轉404頁面,但返回200狀態代碼。

  詳細技術細節解析:

  1.本次被K事件開始的最初時間可追溯至10月17日(上周三),經過我們對百度站長平台抓取壓力意見反應工具的分析,百度在10月17日對白銀投資的抓取量為0,為本次K站的開端,但隨後第二天蜘蛛抓取量便恢複,並逐步大幅增加,截止目前蜘蛛每日抓取頻率已突破6000次,這也是初步恢複的表現。

  

 

  2.然後的動靜可在百度統計中看到,10月18日其實已經被K,百度統計背景索引量由50234個頁面降到小於10,但當時SITE網站顯示的頁面收錄量依然為37300個頁面,以及關鍵詞排名依然正常。

  

 

  3.經過站長工具的網站曆史資料可以看到,10月19日開始,百度前台展示的收錄量開始迅速下降,但依然有收錄,甚至還有三條新收錄頁面。但經過3天的過程,收錄迅速降低,至10月21日,網站僅剩188條收錄。

  

 

  4.網站正式被K是發生在本周一,也就是10月22日。當天收錄降為0,但當天仍然時不時的可以SITE出部分收錄網頁。

  隨後我們分析了網站的記錄檔。發現蜘蛛在10月22日當天的訪問非常異常,頁面抓取的竟然全都是錯誤頁面,而且抓取一些遊戲外掛的敏感關鍵詞。

  

 

  訪問日誌如上所述,經過我們的觀察,百度蜘蛛訪問的路徑全部都是以前網站改版前的頁面,由於改版我們只保留了部分產生的靜態頁面,造成多數多數無法訪問,讓我們更疑惑的是有一些根本不存在的目錄檔案、某遊戲下載等、被百度蜘蛛訪問。

  經過我們詳細的查看,在網頁上開啟該路徑,返回404錯誤頁面,在伺服器端檔案系統中也沒有找到該路徑。

  這些遊戲的關鍵詞超連結位址本不應該存在,更沒有外鏈指向,唯一的可能是存刷百度關鍵詞或者某高權重網站被駭客入侵掛了帶有該錨文本的外鏈,從而引來蜘蛛訪問本站該路徑。對於這種外部的問題我們束手無策,只能提醒廣大站長更多的注意網站安全問題。

  我們仔細的檢查了類比用戶端訪問的網頁HTTP返回碼,發現了問題的核心是這種錯誤訪問,本應該返回404代碼,讓百度直接過濾。但在百度蜘蛛抓取的過程中,竟然返回200代碼。

  於是我們詳細檢查了伺服器的問題,確認了我們的404錯誤配置存在問題,任意錯誤的訪問雖然能夠給出錯誤頁面,但傳回碼是200,我們在第一時間予以修正。

  隨後經過我們的修改,第二天百度蜘蛛返回的狀態代碼全部都是404,相信很快百度會重新掃描本站全部檔案,從資料庫中逐漸去除亂序檔案,收集抓取的正常網站檔案,逐步放出沙箱。

  

 

  經過幾天后,百度蜘蛛大量訪問,大量抓取。但大多是123.125.68段的百度降權蜘蛛或者123.125.68段的低權重抓取,抓取的錯誤頁面偏多。偶爾有正常頁面被抓取。

  在今日終於出現了220.181.108段的高權重蜘蛛抓取首頁。根據網友的經驗,該蜘蛛訪問後幾天內會被放出收錄,不知道對於被K的網站有沒有作用,期待儘快恢複。

  本文由黃金小說網www.hjxs.com原創。

  最後提醒大家,做網站一定要注意伺服器各種配置,特別是404錯誤頁面的返回碼,一個稍不留神就會造成百度被K的嚴重後果。



相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。