自學PYTHON爬蟲

標籤：main   ons   沒有   主機   username   time   連結   實現   tin   

首先，瞭解一下URL

URL的格式由三部分組成：
①第一部分是協議(或稱為服務方式)。
②第二部分是存有該資源的主機IP地址(有時也包括連接埠號碼)。
③第三部分是主機資源的具體地址，如目錄和檔案名稱等。

簡單的一個程式

import urllib2 response = urllib2.urlopen("http://www.baidu.com")print response.read()

1	response = urllib2.urlopen("http://www.baidu.com")

首先我們調用的是urllib2庫裡面的urlopen方法，傳入一個URL，這個網址是百度首頁，協議是HTTP協議，當然你也可以把HTTP換做FTP,FILE,HTTPS 等等，只是代表了一種存取控制協議，urlopen一般接受三個參數，它的參數如下：

 

1	urlopen(url, data, timeout)

 

 

 

 

第一個參數url即為URL，第二個參數data是訪問URL時要傳送的資料，第三個timeout是設定逾時時間。

第二三個參數是可以不傳送的，data預設為空白None，timeout預設為 socket._GLOBAL_DEFAULT_TIMEOUT

第一個參數URL是必須要傳送的，在這個例子裡面我們傳送了百度的URL，執行urlopen方法之後，返回一個response對象，返回資訊便儲存在這裡面。

1	print response.read()

response對象有一個read方法，可以返回擷取到的網頁內容。

現在

上面的程式示範了最基本的網頁抓取，不過，現在大多數網站都是動態網頁，需要你動態地傳遞參數給它，它做出對應的響應。所以，在訪問時，我們需要傳遞資料給它。最常見的情況是什嗎？對了，就是登入註冊的時候呀。

把資料使用者名稱和密碼傳送到一個URL，然後你得到伺服器處理之後的響應，這個該怎麼辦？下面讓我來為小夥伴們揭曉吧！

資料傳送分為POST和GET兩種方式，兩種方式有什麼區別呢？

最重要的區別是GET方式是直接以連結形式訪問，連結中包含了所有的參數，當然如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什麼內容。POST則不會在網址上顯示所有的參數，不過如果你想直接查看提交了什麼就不太方便了，大家可以酌情選擇。

POST方式：

上面我們說了data參數是幹嘛的？對了，它就是用在這裡的，我們傳送的資料就是這個參數data，下面示範一下POST方式。

 import urllibimport urllib2values = {"username":"1016903103@qq.com","password":"XXXX"}data = urllib.urlencode(values) url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"request = urllib2.Request(url,data)response = urllib2.urlopen(request)print response.read()

123456789

import urllibimport urllib2 values = {"username":"[email protected]","password":"XXXX"}data = urllib.urlencode(values)url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"request = urllib2.Request(url,data)response = urllib2.urlopen(request)print response.read()

我們引入了urllib庫，現在我們類比登陸CSDN，當然上述代碼可能登陸不進去，因為CSDN還有個流水號的欄位，沒有設定全，比較複雜在這裡就不寫上去了，在此只是說明登入的原理。一般的登入網站一般是這種寫法。

我們需要定義一個字典，名字為values，參數我設定了username和password，下面利用urllib的urlencode方法將字典編碼，命名為data，構建request時傳入兩個參數，url和data，運行程式，返回的便是POST後呈現的頁面內容。

 

 

 

 

 

 

GET方式：

至於GET方式我們可以直接把參數寫到網址上面，直接構建一個帶參數的URL出來即可。

 import urllibimport urllib2values={}values[‘username‘] = "1016903103@qq.com"values[‘password‘]="XXXX"data = urllib.urlencode(values) url = "http://passport.csdn.net/account/login"geturl = url + "?"+datarequest = urllib2.Request(geturl)response = urllib2.urlopen(request)print response.read()

123456789101112

import urllibimport urllib2 values={}values[‘username‘] = "[email protected]"values[‘password‘]="XXXX"data = urllib.urlencode(values)url = "http://passport.csdn.net/account/login"geturl = url + "?"+datarequest = urllib2.Request(geturl)response = urllib2.urlopen(request)print response.read()

你可以print geturl，列印輸出一下url，發現其實就是原來的url加？然後加編碼後的參數

 http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX

1	http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX

和我們平常GET訪問方式一模一樣，這樣就實現了資料的GET方式傳送。

自學PYTHON爬蟲