第5章 網頁下載器和urllib2模組

標籤：urllib   互連網   第三方   add   tco   processor   nbsp   網頁   uil   

網頁下載器：將互連網上URL對應的網頁下載到本地的工具

通過網頁下載器將互連網中的url網頁，儲存到本地或記憶體字串

 

python有哪幾種網頁下載器？

1.urllib2  python官方基礎模組

2.requests   python第三方包更強大

urllib2下載網頁方法1：最簡潔方法

　　url-------------------------->urllib2.urlopen(url)

代碼：

import urllib2

/#直接請求

response = urllib2.urlopne(‘http://www.baidu.com‘);

/#擷取狀態代碼，如果200表示擷取成功

print.response.getcode();

/#讀取內容

cont = response.read();

方法2：data、http、header

代碼：

import urllib2;
#建立Request對象
request = urllb2.Request(url)
#添加資料
request.add_data(‘a‘,‘a‘)
#添加http的header
request.add_header(‘User-Agent‘,‘Mozilla/5.0‘)
#發送請求擷取結果
response = urllib2.urlopen(request)

方法三：添加特殊情景的處理器

import urllib2,cookielib
#建立cookie容器
cj = cookielib.CookieJar()
#建立1個opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#給urllib2安裝opener
urllib2.install_opener(opener)
#使用帶有cookie的urllib2訪問網頁
response = urllib2.urlopen(‘http://www.baidu.com‘)

 

第5章 網頁下載器和urllib2模組