import httplib
conn = httplib.HTTPConnection("google.com")
conn.request('get', '/')
print conn.getresponse().read()
conn.close()httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] ) HTTPConnection類的建構函式，表示一次與伺服器之間的互動，即請求/響應。參數host表示伺服器主機，如：http://www.csdn.net/；port為連接埠號碼，預設值為80； 參數strict的 預設值為false， 表示在無法解析伺服器返回的狀態行時( status line) （比較典型的狀態行如： HTTP/1.0 200 OK ），是否拋BadStatusLine 異常；選擇性參數timeout 表示逾時時間。
HTTPConnection提供的方法：
HTTPConnection.request ( method , url [ , body [ , headers ]] )調用request 方法會向伺服器發送一次請求，method 表示請求的方法，常用有方法有get 和post ；url 表示請求的資源的url ；body 表示提交到伺服器的資料，必須是字串（如果method 是”post” ，則可以把body 理解為html 表單中的資料）；headers 表示請求的http 頭。
HTTPConnection.getresponse ()
擷取Http 響應。返回的對象是HTTPResponse 的執行個體，關於HTTPResponse 在下面 會講解。
HTTPConnection.connect ()
串連到Http 伺服器。
HTTPConnection.close ()
關閉與伺服器的串連。
HTTPConnection.set_debuglevel ( level )
設定高度的層級。參數level 的預設值為0 ，表示不輸出任何調試資訊。
httplib.HTTPResponse
HTTPResponse表示伺服器對用戶端請求的響應。往往通過調用HTTPConnection.getresponse()來建立，它有如下方法和屬性：
HTTPResponse.read([amt])
擷取響應的訊息體。如果請求的是一個普通的網頁，那麼該方法返回的是頁面的html。選擇性參數amt表示從響應流中讀取指定位元組的資料。
HTTPResponse.getheader(name[, default])
擷取回應標頭。Name表示頭域(header field)名，選擇性參數default在頭網域名稱不存在的情況下作為預設值返回。
HTTPResponse.getheaders()
以列表的形式返回所有的頭資訊。
HTTPResponse.msg
擷取所有的回應標頭資訊。
HTTPResponse.version
擷取伺服器所使用的http協議版本。11表示http/1.1；10表示http/1.0。
HTTPResponse.status
擷取響應的狀態代碼。如：200表示請求成功。
HTTPResponse.reason
返回伺服器處理請求的結果說明。一般為”OK”
下面通過一個例子來熟悉HTTPResponse中的方法：
import httplib
conn = httplib.HTTPConnection("www.g.com", 80, False)
conn.request('get', '/', headers = {"Host": "www.google.com",
"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5",
"Accept": "text/plain"})
res = conn.getresponse()
print 'version:', res.version
print 'reason:', res.reason
print 'status:', res.status
print 'msg:', res.msg
print 'headers:', res.getheaders()
#html
#print '\n' + '-' * 50 + '\n'
#print res.read()
conn.close()
Httplib模組中還定義了許多常量，如：
Httplib. HTTP_PORT 的值為80，表示預設的連接埠號碼為80；
Httplib.OK 的值為200，表示請求成功返回；
Httplib. NOT_FOUND 的值為404，表示請求的資源不存在；
可以通過httplib.responses 查詢相關變數的含義，如：
Print httplib.responses[httplib.NOT_FOUND] #not found
更多關於httplib的資訊，請參考Python手冊httplib 模組。
urllib 和urllib2實現的功能大同小異，但urllib2要比urllib功能等各方面更高一個層次。目前的HTTP訪問大部分都使用urllib2.
urllib2:
req = urllib2.Request('http://pythoneye.com')
response = urllib2.urlopen(req)
the_page = response.read()
FTP同樣：
req = urllib2.Request('ftp://pythoneye.com')
urlopen返回的應答對象response有兩個很有用的方法info()和geturl()
geturl — 這個返回擷取的真實的URL，這個很有用，因為urlopen(或者opener對象使用的)或許
會有重新導向。擷取的URL或許跟請求URL不同。
Data資料
有時候你希望發送一些資料到URL
post方式：
values ={'body' : 'test short talk','via':'xxxx'}
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
get方式：
data['name'] = 'Somebody Here'
data['location'] = 'Northampton'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
url = 'http://pythoneye.com/example.cgi'
full_url = url + '?' + url_values
data = urllib2.open(full_url)
使用Basic HTTP Authentication:
import urllib2
# Create an OpenerDirector with support for Basic HTTP Authentication...
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password(realm='PDQ Application',
uri='https://pythoneye.com/vecrty.py',
user='user',
passwd='pass')
opener = urllib2.build_opener(auth_handler)
# ...and install it globally so it can be used with urlopen.
urllib2.install_opener(opener)
urllib2.urlopen('http://www. pythoneye.com/app.html')
使用代理ProxyHandler：
proxy_handler = urllib2.ProxyHandler({'http': 'http://www.example.com:3128/'})
proxy_auth_handler = urllib2.HTTPBasicAuthHandler()
proxy_auth_handler.add_password('realm', 'host', 'username', 'password')
opener = build_opener(proxy_handler, proxy_auth_handler)
# This time, rather than install the OpenerDirector, we use it directly:
opener.open('http://www.example.com/login.html')
URLError–HTTPError:
from urllib2 import Request, urlopen, URLError, HTTPError
req = Request(someurl)
try:
response = urlopen(req)
except HTTPError, e:
print 'Error code: ', e.code
except URLError, e:
print 'Reason: ', e.reason
else:
.............
或者：
from urllib2 import Request, urlopen, URLError
req = Request(someurl)
try:
response = urlopen(req)
except URLError, e:
if hasattr(e, 'reason'):
print 'Reason: ', e.reason
elif hasattr(e, 'code'):
print 'Error code: ', e.code
else:
.............
通常，URLError在沒有網路連接(沒有路由到特定伺服器),或者伺服器不存在的情況下產生
異常同樣會帶有”reason”屬性，它是一個tuple，包含了一個錯誤號碼和一個錯誤資訊
req = urllib2.Request('http://pythoneye.com')
try:
urllib2.urlopen(req)
except URLError, e:
print e.reason
print e.code
print e.read()
最後需要注意的就是，當處理URLError和HTTPError的時候，應先處理HTTPError，後處理URLError
Openers和Handlers：
opener使用操作器（handlers）。所有的重活都交給這些handlers來做。每一個handler知道
怎麼開啟url以一種獨特的url協議（http，ftp等等），或者怎麼處理開啟url的某些方面，如，HTTP重新導向，或者HTTP
cookie。
預設opener有對普通情況的操作器 （handlers）- ProxyHandler, UnknownHandler, HTTPHandler,
HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.
再看python API：Return an OpenerDirector instance, which chains the handlers in the order given
這就更加證明了一點，那就是opener可以看成是一個容器，這個容器當中放的是控制器，預設的，容器當中有五個控制
器，程式員也可以加入自己的控制器，然後這些控制器去幹活。
class HTTPHandler(AbstractHTTPHandler):
def http_open(self, req):
return self.do_open(httplib.HTTPConnection, req)
http_request = AbstractHTTPHandler.do_request_
HTTPHandler是Openers當中的預設控制器之一，看到這個代碼，證實了urllib2是藉助於httplib實現的，同時也證實了Openers和Handlers的關係。
