python urllib/urllib2 get/post使用詳解__python

1、urllib2可以接受一個Request類的執行個體來設定URL請求的headers，urllib僅可以接受URL。這意味著，你不可以偽裝你的User Agent字串等。2、urllib提供urlencode方法用來GET查詢字串的產生，而urllib2沒有。這是為何urllib常和urllib2一起使用的原因。 urllib get資料的方法 (params是關鍵字)

#!/usr/bin/python#coding=utf-8 import urllib,urllib2 uri = 'http://www.qieke.com/index.php'params = {'_c': 'user','_m': 'info',}; params['user_id']= 123456params['user_name'] = '全仔'params = urllib.urlencode(params)ret = urllib.urlopen("%s?%s"%(uri, params))code = ret.getcode()ret_data = ret.read()

urllib post資料的方法

#!/usr/bin/python#coding=utf-8 import urllib,urllib2 uri = 'http://www.qieke.com/index.php'params = {'_c': 'user','_m': 'info',}; params['user_id']= 123456params['user_name'] = '全仔'params = urllib.urlencode(params)ret = urllib.urlopen(uri, params)code = ret.getcode()ret_data = ret.read()

urllib2

最簡單的使用urllib2將如下所示

import urllib2 response = urllib2.urlopen('http://python.org/') html = response.read() 

urllib2的很多應用就是那麼簡單(記住，除了"http:",URL同樣可以使用"ftp:","file:"等等來替代)。但這篇文章是教授HTTP的更複雜的應用。

HTTP是基於請求和應答機制的--用戶端提出請求，服務端提供應答。urllib2用一個Request對象來映射你提出的HTTP請求,在它最簡單的使用形式中你將用你要請求的

地址建立一個Request對象，通過調用urlopen並傳入Request對象，將返回一個相關請求response對象，這個應答對象如同一個檔案對象，所以你可以在Response中調用.read()。 

import urllib2  req = urllib2.Request('http://www.voidspace.org.uk') response = urllib2.urlopen(req) the_page = response.read() 

記得urllib2使用相同的介面處理所有的URL頭。例如你可以像下面那樣建立一個ftp請求。

req = urllib2.Request('ftp://example.com/')

在HTTP請求時，允許你做額外的兩件事。首先是你能夠發送data表單資料，其次你能夠傳送額外的關於資料或發送本身的資訊("metadata")到伺服器，此資料作為HTTP的"headers"來發送。

Data資料

有時候你希望發送一些資料到URL(通常URL與CGI[通用閘道介面]指令碼，或其他WEB應用程式掛接)。在HTTP中,這個經常使用熟知的POST請求發送。這個通常在你提交一個HTML表單時由你的瀏覽器來做。

並不是所有的POSTs都來源於表單，你能夠使用POST提交任意的資料到你自己的程式。一般的HTML表單，data需要編碼成標準形式。然後做為data參數傳到Request對象。編碼工作使用urllib的函數而非

import urllib import urllib2 url = 'http://www.someserver.com/cgi-bin/register.cgi' values = {'name' : 'Michael Foord',           'location' : 'Northampton',           'language' : 'Python' } data = urllib.urlencode(values) req = urllib2.Request(url, data) response = urllib2.urlopen(req) the_page = response.read() 

如ugoni沒有傳送data參數，urllib2使用GET方式的請求。GET和POST請求的不同之處是POST請求通常有"副作用"，它們會由於某種途徑改變系統狀態(例如提交成堆垃圾到你的門口)。

儘管HTTP標準說的很清楚POSTs通常會產生副作用，GET請求不會產生副作用，但沒有什麼可以阻止GET請求產生副作用，同樣POST請求也可能不產生副作用。Data同樣可以通過在Get請求

的URL本身上面編碼來傳送。

可看如下例子

>>> import urllib2 >>> import urllib >>> data = {} >>> data['name'] = 'Somebody Here' >>> data['location'] = 'Northampton' >>> data['language'] = 'Python' >>> url_values = urllib.urlencode(data) >>> print url_values name=Somebody+Here&language=Python&location=Northampton >>> url = 'http://www.example.com/example.cgi' >>> full_url = url + '?' + url_values >>> data = urllib2.open(full_url) 

Headers

討論特定的HTTP頭，來說明怎樣添加headers到你的HTTP請求。

 

有一些網站不喜歡被程式（非人為訪問）訪問，或者發送不同版本的內容到不同的瀏覽器。預設的urllib2把自己作為“Python-urllib/x.y”(x和y是Python主要版本和次版本號碼,例如Python-urllib/2.5)，

這個身份可能會讓網站迷惑，或者乾脆不工作。瀏覽器確認自己身份是通過User-Agent頭，當你建立了一個請求對象，你可以給他一個包含頭資料的字典。下面的例子發送跟上面一樣的內容，但把自身類比成Internet Explorer。

import urllib import urllib2 url = 'http://www.someserver.com/cgi-bin/register.cgi' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' values = {'name' : 'Michael Foord',           'location' : 'Northampton',           'language' : 'Python' } headers = { 'User-Agent' : user_agent } data = urllib.urlencode(values) req = urllib2.Request(url, data, headers) response = urllib2.urlopen(req) the_page = response.read() 

 

response應答對象同樣有兩個很有用的方法。看下面的節info and geturl，我們將看到當發生錯誤時會發生什麼。

Handle Exceptions處理異常

當urlopen不能夠處理一個response時，產生urlError（不過通常的Python APIs異常如ValueError,TypeError等也會同時產生）。

HTTPError是urlError的子類，通常在特定HTTP URLs中產生。

 

URLError

通常，URLError在沒有網路連接(沒有路由到特定伺服器),或者伺服器不存在的情況下產生。這種情況下，異常同樣會帶有"reason"屬性，它是一個tuple，包含了一個錯誤號碼和一個錯誤資訊。

 

例如

>>> req = urllib2.Request('http://www.pretend_server.org') >>> try: urllib2.urlopen(req) >>> except URLError, e: >>> print e.reason (4, 'getaddrinfo failed') 

Error Codes錯誤碼

因為預設的處理器處理了重新導向(300以外號碼)，並且100-299範圍的號碼指示成功，所以你只能看到400-599的錯誤號碼。

BaseHTTPServer.BaseHTTPRequestHandler.response是一個很有用的應答號碼字典，顯示了RFC 2616使用的所有的應答號。這裡為了方便重新展示該字典。（譯者略）

當一個錯誤號碼產生後，伺服器返回一個HTTP錯誤號碼，和一個錯誤頁面。你可以使用HTTPError執行個體作為頁面返回的應答對象response。這表示和錯誤屬性一樣，它同樣包含了read,geturl,和info方法。

 

>>> req = urllib2.Request('http://www.python.org/fish.html') >>> try: >>>     urllib2.urlopen(req) >>> except URLError, e: >>>     print e.code >>>     print e.read() 404 

Wrapping it Up封裝

 

所以如果你想為HTTPError或URLError做準備，將有兩個基本的辦法。我則比較喜歡第二種。

 

第一個：

[python:nogutter] 
from urllib2 import Request, urlopen, URLError, HTTPError 
req = Request(someurl) 
try: 
    response = urlopen(req) 
except HTTPError, e: 
    print 'The server couldn/'t fulfill the request.' 
    print 'Error code: ', e.code 
except URLError, e: 
    print 'We failed to reach a server.' 
    print 'Reason: ', e.reason 
else: 
    # everything is fine 

注意：except HTTPError 必須在第一個，否則except URLError將同樣接受到HTTPError。 

第二個：

[python:nogutter] 
from urllib2 import Request, urlopen, URLError 
req = Request(someurl) 
try: 
    response = urlopen(req)  
except URLError, e: 
    if hasattr(e, 'reason'): 
        print 'We failed to reach a server.' 
        print 'Reason: ', e.reason 
    elif hasattr(e, 'code'): 
        print 'The server couldn/'t fulfill the request.' 
        print 'Error code: ', e.code 
else: 
    # everything is fine 

info and geturl

urlopen返回的應答對象response(或者HTTPError執行個體)有兩個很有用的方法info()和geturl()

geturl -- 這個返回擷取的真實的URL，這個很有用，因為urlopen(或者opener對象使用的)或許

會有重新導向。擷取的URL或許跟請求URL不同。 

info -- 這個返回對象的字典對象，該字典描述了擷取的頁面情況。通常是伺服器發送的特定頭headers。目前是httplib.HTTPMessage 執行個體。 

經典的headers包含"Content-length"，"Content-type"，和其他。查看Quick Reference to HTTP Headers(http://www.cs.tut.fi/~jkorpela/http.html)

擷取有用的HTTP頭列表，以及它們的解釋意義。