[Python]網路爬蟲（三）：異常的處理和HTTP狀態代碼的分類

先來說一說HTTP的異常處理問題。
當urlopen不能夠處理一個response時，產生urlError。
不過通常的Python APIs異常如ValueError,TypeError等也會同時產生。
HTTPError是urlError的子類，通常在特定HTTP URLs中產生。
 
1.URLError
通常，URLError在沒有網路連接(沒有路由到特定伺服器)，或者伺服器不存在的情況下產生。

這種情況下，異常同樣會帶有"reason"屬性，它是一個tuple（可以理解為不可變的數組），

包含了一個錯誤號碼和一個錯誤資訊。

我們建一個urllib2_test06.py來感受一下異常的處理：

import urllib2req = urllib2.Request('http://www.baibai.com')try: urllib2.urlopen(req)except urllib2.URLError, e:      print e.reason

按下F5，可以看到列印出來的內容是：

[Errno 11001] getaddrinfo failed

也就是說，錯誤號碼是11001，內容是getaddrinfo failed

2.HTTPError
伺服器上每一個HTTP 應答對象response包含一個數字"狀態代碼"。

有時狀態代碼指出伺服器無法完成請求。預設的處理器會為你處理一部分這種應答。

例如:假如response是一個"重新導向"，需要用戶端從別的地址擷取文檔，urllib2將為你處理。

其他不能處理的，urlopen會產生一個HTTPError。

典型的錯誤包含"404"(頁面無法找到)，"403"(請求禁止)，和"401"(帶驗證請求)。

HTTP狀態代碼表示HTTP協議所返回的響應的狀態。

比如用戶端向伺服器發送請求，如果成功地獲得請求的資源，則返回的狀態代碼為200，表示響應成功。

如果請求的資源不存在， 則通常返回404錯誤。 

HTTP狀態代碼通常分為5種類型，分別以1～5五個數字開頭，由3位整數組成：

------------------------------------------------------------------------------------------------

200：請求成功      處理方式：獲得響應的內容，進行處理 

201：請求完成，結果是建立了新資源。新建立資源的URI可在響應的實體中得到    處理方式：爬蟲中不會遇到 

202：請求被接受，但處理尚未完成    處理方式：阻塞等待 

204：伺服器端已經實現了請求，但是沒有返回新的信 息。如果客戶是使用者代理程式，則無須為此更新自身的文檔視圖。    處理方式：丟棄

300：該狀態代碼不被HTTP/1.0的應用程式直接使用， 只是作為3XX類型回應的預設解釋。存在多個可用的被請求資源。    處理方式：若程式中能夠處理，則進行進一步處理，如果程式中不能處理，則丟棄
301：請求到的資源都會分配一個永久的URL，這樣就可以在將來通過該URL來訪問此資源    處理方式：重新導向到分配的URL
302：請求到的資源在一個不同的URL處臨時儲存     處理方式：重新導向到臨時的URL 

304 請求的資源未更新     處理方式：丟棄 

400 非法請求     處理方式：丟棄 

401 未授權     處理方式：丟棄 

403 禁止     處理方式：丟棄 

404 沒有找到     處理方式：丟棄 

5XX 回應代碼以“5”開頭的狀態代碼表示伺服器端發現自己出現錯誤，不能繼續執行請求    處理方式：丟棄

------------------------------------------------------------------------------------------------

HTTPError執行個體產生後會有一個整型'code'屬性，是伺服器發送的相關錯誤號碼。

Error Codes錯誤碼
因為預設的處理器處理了重新導向(300以外號碼)，並且100-299範圍的號碼指示成功，所以你只能看到400-599的錯誤號碼。
BaseHTTPServer.BaseHTTPRequestHandler.response是一個很有用的應答號碼字典，顯示了HTTP協議使用的所有的應答號。

當一個錯誤號碼產生後，伺服器返回一個HTTP錯誤號碼，和一個錯誤頁面。

你可以使用HTTPError執行個體作為頁面返回的應答對象response。

這表示和錯誤屬性一樣，它同樣包含了read,geturl,和info方法。

我們建一個urllib2_test07.py來感受一下：

import urllib2req = urllib2.Request('http://bbs.csdn.net/callmewhy')try:    urllib2.urlopen(req)except urllib2.URLError, e:    print e.code    #print e.read()

按下F5可以看見輸出了404的錯誤碼，也就說沒有找到這個頁面。

3.Wrapping

所以如果你想為HTTPError或URLError做準備，將有兩個基本的辦法。推薦使用第二種。

我們建一個urllib2_test08.py來示範一下第一種異常處理的方案：

from urllib2 import Request, urlopen, URLError, HTTPErrorreq = Request('http://bbs.csdn.net/callmewhy')try:    response = urlopen(req)except HTTPError, e:    print 'The server couldn\'t fulfill the request.'    print 'Error code: ', e.codeexcept URLError, e:    print 'We failed to reach a server.'    print 'Reason: ', e.reasonelse:    print 'No exception was raised.'    # everything is fine

和其他語言相似，try之後捕獲異常並且將其內容列印出來。這裡要注意的一點，except HTTPError 必須在第一個，否則except URLError將同樣接受到HTTPError 。
因為HTTPError是URLError的子類，如果URLError在前面它會捕捉到所有的URLError（包括HTTPError ）。

我們建一個urllib2_test09.py來示範一下第二種異常處理的方案：

from urllib2 import Request, urlopen, URLError, HTTPErrorreq = Request('http://bbs.csdn.net/callmewhy')  try:        response = urlopen(req)    except URLError, e:        if hasattr(e, 'reason'):            print 'We failed to reach a server.'            print 'Reason: ', e.reason        elif hasattr(e, 'code'):            print 'The server couldn\'t fulfill the request.'            print 'Error code: ', e.code    else:      print 'No exception was raised.'      # everything is fine