Python爬蟲基礎(一)--簡單的url請求

標籤：python   爬蟲   url   

#encoding:UTF-8import urllibimport urllib.request# data是一個字典，然後通過urllib.parse.urlencode()將data轉換為'wd = 904727147'的字串#最後和url合并為full_url# urllib.request是一個庫,隸屬urllib,urllib是一個收集了很多處理url的包，開放網址的可擴充庫。# urllib.request模版定義了很多功能函數和類，這些類和函數協助以文檔的形式開啟urls# requests package被公認為是更進階別的HTTP用戶端介面# urllib.request定義了如下的函數功能：# urllib.reuqest.urlopen(url,data=None,[timeout,]*,cafile = None,cadefault = False,context = None)# 開啟網址，它可以是一個字串或一個請求對象。參數data必須是一個位元組對象，#發送給伺服器的附加資料，如果不需要附加資料，這個參數也可以是空的。這個data也可以一個迭代對象，#內容長度值必須在標頭檔中指定。目前http請求是唯一需要使用資料data的。當data參數被提供的時候，http請求將會是一個post而不是get型請求。# 對於http和https地址，這個函數返回一個 http.client.HTTPResponse對象，#這個對象有 HTTPResponse Objects 方法# HTTPResponse.read([amt])讀取並返迴響應體，或到下一個AMT位元組data={}data['wd'] = '904727147'url_values = urllib.parse.urlencode(data)url = "http://www.baidu.com/s?"full_url = url + url_valuesdata = urllib.request.urlopen(full_url).read()data = data.decode('UTF-8')print(data)

鐘志遠  江蘇南京  904727147

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

Python爬蟲基礎(一)--簡單的url請求