Python爬蟲 Cookie的使用,pythoncookie
Cookie,指某些網站為了辨別使用者身份、進行session跟蹤而儲存在使用者本地終端上的資料(通常經過加密)
比如說有些網站需要登入後才能訪問某個頁面,在登入之前,你想抓取某個頁面內容是不允許的。那麼我們可以利用Urllib2庫儲存我們登入的Cookie,然後再抓取其他頁面就達到目的了。
在此之前呢,先介紹一個opener的概念
1.Opener
當你擷取一個URL你使用一個opener(一個urllib2.OpenerDirector的執行個體)。在前面,我們都是使用的預設的opener,也就是urlopen。它是一個特殊的opener,可以理解成opener的一個特殊執行個體,傳入的參數僅僅是url,data,timeout。
如果我們需要用到Cookie,只用這個opener是不能達到目的的,所以我們需要建立更一般的opener來實現對Cookie的設定。
2.Cookielib
cookielib模組的主要作用是提供可儲存cookie的對象,以便於與urllib2模組配合使用來訪問Internet資源。Cookielib模組非常強大,我們可以利用本模組的CookieJar類的對象來捕獲cookie並在後續串連請求時重新發送,比如可以實現類比登入功能。該模組主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。
它們的關係:CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar
1)擷取Cookie儲存到變數
首先,我們先利用CookieJar對象實現擷取cookie的功能,儲存到變數中,先來感受一下
1 #coding:UTF8 2 3 import cookielib 4 import urllib2 5 6 #聲明一個CookieJar對象執行個體來儲存cookie 7 cookie = cookielib.CookieJar() 8 #利用HTTPCookieProcessor對象建立cookie處理器 9 handle = urllib2.HTTPCookieProcessor(cookie)10 #通過handle來構建opener11 opener = urllib2.build_opener(handle)12 #此open方法與urllib2的urlopen方法,可以傳入request13 response = opener.open('http://www.baidu.com')14 15 for i in cookie:16 print 'Name =' +i.name17 print 'Value = ' + i.value
使用以上方法將cookie儲存到變數中,然後列印出了cookie中的值,運行結果如下
1 Name =BAIDUID 2 Value = 6E0127B9536DE7EE8A68D8B5AE016CCA:FG=1 3 Name =BIDUPSID 4 Value = 6E0127B9536DE7EE8A68D8B5AE016CCA 5 Name =H_PS_PSSID 6 Value = 1465_13550_21110_17001_21672_22158 7 Name =PSTM 8 Value = 1491037392 9 Name =BDSVRTM10 Value = 011 Name =BD_HOME12 Value = 0
2)儲存Cookie到檔案
在上面的方法中,我們將cookie儲存到了cookie這個變數中,如果我們想將cookie儲存到檔案中該怎麼做呢?這時,我們就要用到
FileCookieJar這個對象了,在這裡我們使用它的子類MozillaCookieJar來實現Cookie的儲存
1 #coding:UTF8 2 3 import cookielib 4 import urllib2 5 6 #設定儲存cookie檔案,在同級目錄下 7 file_name='cookie.txt' 8 #聲明一個CookieJar對象執行個體來儲存cookie 9 cookie = cookielib.MozillaCookieJar(file_name) 10 #利用HTTPCookieProcessor對象建立cookie處理器11 handle = urllib2.HTTPCookieProcessor(cookie)12 #通過handle來構建opener13 opener = urllib2.build_opener(handle)14 #此open方法與urllib2的urlopen方法,可以傳入request15 response = opener.open('http://www.baidu.com')16 17 cookie.save(ignore_discard=True,ignore_expires=True)
關於最後save方法的兩個參數在此說明一下:
官方解釋如下:
gnore_discard: save even cookies set to be discarded. ignore_expires: save even cookies that have expiredThe file is overwritten if it already exists
由此可見,ignore_discard的意思是即使cookies將被丟棄也將它儲存下來,ignore_expires的意思是如果在該檔案中cookies已經存在,則覆蓋原檔案寫入,在這裡,我們將這兩個全部設定為True。運行之後,cookies將被儲存到cookie.txt檔案中,我們查看一下內容,附圖如下
3)從檔案中擷取Cookie並訪問
那麼我們已經做到把Cookie儲存到檔案中了,如果以後想使用,可以利用下面的方法來讀取cookie並訪問網站,感受一下
1 #coding:UTF8 2 import urllib2 3 import cookielib 4 #建立執行個體對象 5 cookie = cookielib.MozillaCookieJar() 6 #從檔案中讀取cookie內容到變數 7 cookie.load('cookie.txt', ignore_discard=True,ignore_expires=True) 8 #建立請求 9 request = urllib2.Request('http://www.baidu.com')10 #利用build_opener方法建立一個opener11 opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))12 13 req = opener.open(request)14 print req.read()
設想,如果我們的 cookie.txt 檔案中儲存的是某個人登入百度的cookie,那麼我們提取出這個cookie檔案內容,就可以用以上方法類比這個人的帳號登入百度。
4)利用cookie類比網站登入
下面以本人部落格園為例(帳號密碼都是假的喲,不信可以試試滴),利用cookie實現類比登入,並將cookie資訊儲存到文字檔中,來感受一下cookie大法吧!
1 #coding:UTF8 2 3 import urllib 4 import urllib2 5 import cookielib 6 7 file_name = 'cookie1.txt' 8 #聲明一個MozillaCookieJar對象執行個體來儲存cookie,之後寫入檔案 9 cookie = cookielib.MozillaCookieJar(file_name)10 opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))11 data = urllib.urlencode({12 'username':'username',13 'pwd':'password',14 })15 #登入部落格園的URL16 login_url = 'https://passport.cnblogs.com/user/signin?ReturnUrl=http%3A%2F%2Fwww.cnblogs.com%2F'17 #類比登入,並把cookie儲存到變數18 result = opener.open(login_url,data)19 #儲存cookie到檔案20 cookie.save(ignore_discard=True, ignore_expires=True)21 #利用cookie請求訪問到另一網址22 select_url='http://www.cnblogs.com/qianyuliang/p/6656580.html'23 #請求訪問24 result = opener.open(select_url)25 print result.read()
以上程式的原理如下
建立一個帶有cookie的opener,在訪問登入的URL時,將登入後的cookie儲存下來,然後利用這個cookie來訪問其他網址。