1、python爬蟲 request.urlopen請求網頁擷取源碼

標籤：python3   python爬蟲   port   爬蟲   rap   odi   highlight   lib   font   

# python3匯入request包from urllib import requestimport sysimport io# 如果需要用print列印時，如果出現異常可以先設定輸出環境sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding=‘utf-8‘)# 需要擷取的urlurl = ‘http://www.xxx.com/‘# 標頭檔headers = {    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"}# 產生請求對象req = request.Request(url, headers=headers)# 調用request的urlopen方法發起請求，並返回結果對象,如果沒有data參數時，則是get請求，否則是post請求response = request.urlopen(req)# 將結果寫入html檔案中，with open(‘a.html‘, ‘wb‘) as f:    f.write(response.read())# 列印返回的狀態代碼print(response.getcode())# 列印返回的url，防止重新導向url變化 print(response.url)

1、python爬蟲 request.urlopen請求網頁擷取源碼