快照抓取異常,只有網址無標題描述解決過程

來源:互聯網
上載者:User

  說到百度快照,站長們們都知道他的重要性,是百度權重的重要因素之一,也是交換友情連結,衡量網站的重要標準。及時快照更新直接表示網站被蜘蛛抓取的頻率,受蜘蛛的喜歡程度。閑話不說,今天就給大家分享我的網站首頁快照抓取異常,只有網址無標題描述的,快照停止的解決過程。

  話說我的網站中國紡織人才網向來快照更新都是比較及時的,偶爾會落後幾天,但是恢複的也很快,但是前段時間,輸入主關鍵詞時候,出來的快照是9月12號的,還沒有描述,只有一個網址以及名稱,奇怪,這什麼情況?連一直以來都有的ICO標籤也麼有了,這美觀度是其次,這種情況直接影響客戶對網站信任度啊,我開始關注這個問題。

  首先網站有問題,得先用工具查一下,我通過chinaz站長工具查詢網站的死連結,友情連結,這兩塊是我們每周都有做維護的,用工具都檢查一遍,同時也用站長工具中查看索引量以及抓取異常情況,並麼有發現什麼很大的波動。這些指標都沒有明顯變化,那難道是網站內部出現什麼問題?說道這個不得不推薦Google管理員工具,相信很多站長們都有用這工具,他們的抓取錯誤提示上比較快,有什麼問題基本上都是能及時通知的。

  Google管理員工具分析後,發現我們的網站內部有很多的404 頁面,很多都是以前修改路徑時候遺留下來的問題,同時也是因為近期伺服器問題比較多, 訪問上都有不穩定的情況。Google管理員工具有一個好處,告訴你404 頁面後,還有連結到該頁面的網域名稱,可以然後快速找到並處理問題,404 對整站的影響自然不需要我多說,就是和毒瘤,少的時候沒什麼,爆發起來就是突然就降權了。

  到此,我想基本上應該解決一部分了,過了2天,當我在百度上輸入時候,我以為他能好了,可是以為只是以為,現實總是更加骨感,這次情況更糟糕,直接網址查的快照竟然也是9月12號的,這下我慌了,難道還有什麼問題?

  接下去就是下載IIS訪問日誌,關於IIS日誌這塊,我也是一直以來都看的比較少,但是網站有問題,不會看也得看啊,畢竟日誌是蜘蛛情況最直接的反饋。下載好日誌,我首先用光年日誌工具分析了,學著看每個目錄的訪問情況,說到日誌這塊每個站長都有自己習慣的工具,不外乎是分析每個目錄下面的返回碼,我們主做的百度,自然主要分析百度蜘蛛的訪問情況。

  首先是304頁面,分析網站的時候發現很多304的返回碼,304 百度了下,是屬於頁面請求不更新的情況,304多,蜘蛛長期吃不到新的東西,就會導致網站快照更新不及時的情況。另外一個代碼,是經理髮現的,他採用的是不用工具直接查看源碼的發放,這回就發現index目錄也就是紡織人才網首頁大量的200 0 64 ,關於200 0 64網上的說法不一,我也是問了群上的很多人,有人說是正常的,也又說的異常的,比較多的說法是抓取不完全,也就是說蜘蛛來到頁面,抓到了資訊但是在帶走過程中遇到了問題,也就是沒有返回資訊。在結合自己網站情況,這就是問題了,頁面不更新,蜘蛛抓取異常。

  問題出來了,接下去就是解決問題,分析了我們紡織人才網的首頁,每日更新的板塊真的很少,畢竟客戶就那些客戶,有增加也不會每日添加到首頁的。但是首頁問題還是得解決,怎麼辦,就增加新的板塊,增加一個能即時更新的內容,於是策劃效果也製作內容上線,然後去百度快照投訴,在過了幾天,看快照漸漸恢複,目前為止基本正常。

  總結這次經驗,怎麼說呢百度快照不正常,有多種原因,有時候可能只是百度自己有問題,但如果快照3天以上異常,就得開始考慮是不是網站內部問題了。同時在檢查問題的時候,一定得多方面考慮,把可能的問題都一一排查。而且出問題,一定得看日誌,因為日誌比你所有的工具都能反映真實情況,多方面綜合,總有一樣是能真正解決問題的

  本文作者:中國紡織人才網www.texhr.cn A5首發,轉載請保留著作權資訊。



相關文章

Beyond APAC's No.1 Cloud

19.6% IaaS Market Share in Asia Pacific - Gartner IT Service report, 2018

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。