擷取網頁原始碼

標籤：etc   資料   headers   操作方法   ons   windows   內容   webkit   urllib2   

# -*- coding: utf-8 -*-import urllib2#urllib2 預設的User-Agent是 Python-urllib/2.7#User-Agent是爬蟲和發爬蟲鬥爭的第一步ua_headers = {    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2716.5 Safari/537.36"}#通過urllib2.Request()構造一個請求對象request = urllib2.Request("http://www.baidu.com/",headers = ua_headers)#向指定的url地址發送請求，並返回伺服器響應的類檔案對象response = urllib2.urlopen(request)#伺服器返回的類檔案對象支援Python檔案對象的操作方法#read()就是讀取檔案裡的全部內容，返回字串html = response.read()#response：是伺服器響應的類檔案，除了支援檔案操作的方法外，還支援以下常用方法#返回http的響應碼，成功返回200，4伺服器頁面出錯，5伺服器問題print response.getcode()#返回返回實際資料的實際url，防止有重新導向問題 print response.getcode()#返回伺服器響應的http前序print response.info()print html

 

擷取網頁原始碼