爬蟲進階篇

標籤：

 

Cookie的使用

為什麼要使用Cookie呢？

Cookie，指某些網站為了辨別使用者身份、進行session跟蹤而儲存在使用者本地終端上的資料（通常經過加密）

比如說有些網站需要登入後才能訪問某個頁面，在登入之前，你想抓取某個頁面內容是不允許的。那麼我們可以利用Urllib2庫儲存我們登入的Cookie，然後再抓取其他頁面就達到目的了。

在此之前呢，我們必須先介紹一個opener的概念。

　　1.Opener

　　　　當你擷取一個URL你使用一個opener(一個urllib2.OpenerDirector的執行個體)。在前面，我們都是使用的預設的opener，也就是urlopen。它是一個特殊的opener，可以理解成opener的一個特殊執行個體，傳入的參數僅僅是url，data，timeout。

如果我們需要用到Cookie，只用這個opener是不能達到目的的，所以我們需要建立更一般的opener來實現對Cookie的設定。

　　2.Cookielib

　　　　cookielib模組的主要作用是提供可儲存cookie的對象，以便於與urllib2模組配合使用來訪問Internet資源。Cookielib模組非常強大，我們可以利用本模組的CookieJar類的對象來捕獲cookie並在後續串連請求時重新發送，比如可以實現類比登入功能。該模組主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它們的關係：CookieJar —-派生—->FileCookieJar  —-派生—–>MozillaCookieJar和LWPCookieJar

　　　1）擷取Cookie儲存到變數

　　　　首先，我們先利用CookieJar對象實現擷取cookie的功能，儲存到變數中，先來感受一下

　　　　一部分是我自己的解釋

# import urllib2# import cookielib# #聲明一個CookieJar對象執行個體來儲存cookie# 擷取一個儲存cookie對象？？# cookie = cookielib.CookieJar()# #利用urllib2庫的HTTPCookieProcessor對象來建立cookie處理器#將一個儲存cookie對象，和一個HTTP的cookie的處理綁定----？？# handler=urllib2.HTTPCookieProcessor(cookie)# #通過handler來構建opener#建立一個opener，將儲存了cookie的http處理器，還有設定一個handler用於處理http的URL的開啟# opener = urllib2.build_opener(handler)# #此處的open方法同urllib2的urlopen方法，也可以傳入request# response = opener.open(‘http://www.baidu.com‘)# for item in cookie:#     print ‘Name = ‘+item.name#     print ‘Value = ‘+item.value

　　我們使用以上方法將cookie儲存到變數中，然後列印出了cookie中的值，運行結果如下

Value = B07B663B645729F11F659C02AAE65B4C:FG=1Name = BAIDUPSIDValue = B07B663B645729F11F659C02AAE65B4CName = H_PS_PSSIDValue = 12527_11076_1438_10633Name = BDSVRTMValue = 0Name = BD_HOMEValue = 0

　　

　　2）儲存Cookie到檔案

在上面的方法中，我們將cookie儲存到了cookie這個變數中，如果我們想將cookie儲存到檔案中該怎麼做呢？這時，我們就要用到（檔案自動產生）

FileCookieJar這個對象了，在這裡我們使用它的子類MozillaCookieJar來實現Cookie的儲存

import cookielibimport urllib2#設定儲存cookie的檔案，同級目錄下的cookie.txtfilename = ‘cookie.txt‘#聲明一個MozillaCookieJar對象執行個體來儲存cookie，之後寫入檔案cookie = cookielib.MozillaCookieJar(filename)#利用urllib2庫的HTTPCookieProcessor對象來建立cookie處理器handler = urllib2.HTTPCookieProcessor(cookie)#通過handler來構建openeropener = urllib2.build_opener(handler)#建立一個請求，原理同urllib2的urlopenresponse = opener.open("http://www.baidu.com")#儲存cookie到檔案cookie.save(ignore_discard=True, ignore_expires=True)

　　

　　由此可見，ignore_discard的意思是即使cookies將被丟棄也將它儲存下來，ignore_expires的意思是如果在該檔案中cookies已經存在，則覆蓋原檔案寫入，在這裡，我們將這兩個全部設定為True。運行之後，cookies將被儲存到cookie.txt檔案中，我們查看一下內容，附圖如下

3）從檔案中擷取Cookie並訪問

那麼我們已經做到把Cookie儲存到檔案中了，如果以後想使用，可以利用下面的方法來讀取cookie並訪問網站，感受一下

 

import cookielibimport urllib2#建立MozillaCookieJar執行個體對象cookie = cookielib.MozillaCookieJar()#從檔案中讀取cookie內容到變數cookie.load(‘cookie.txt‘, ignore_discard=True, ignore_expires=True)#建立請求的requestreq = urllib2.Request("http://www.baidu.com")#利用urllib2的build_opener方法建立一個openeropener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))response = opener.open(req)print response.read()

　　

　　設想，如果我們的 cookie.txt 檔案中儲存的是某個人登入百度的cookie，那麼我們提取出這個cookie檔案內容，就可以用以上方法類比這個人的帳號登入百度。

 　　4）利用cookie類比網站登入

　　　　下面我們以我們學校的教育系統為例，利用cookie實現類比登入，並將cookie資訊儲存到文字檔中，來感受一下cookie大法吧！

　　　　注意：密碼我改了啊，別偷偷登入鄭的選課系統 o(╯□╰)o

 

 

import urllib2import cookielib filename = ‘cookie.txt‘#聲明一個MozillaCookieJar對象執行個體來儲存cookie，之後寫入檔案cookie = cookielib.MozillaCookieJar(filename)opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))postdata = urllib.urlencode({            ‘stuid‘:‘201200131012‘,            ‘pwd‘:‘23342321‘        })#登入教務系統的URLloginUrl = ‘http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login‘#類比登入，並把cookie儲存到變數result = opener.open(loginUrl,postdata)#儲存cookie到cookie.txt中cookie.save(ignore_discard=True, ignore_expires=True)#利用cookie請求訪問另一個網址，此網址是成績查詢網址gradeUrl = ‘http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre‘#請求訪問成績查詢網址result = opener.open(gradeUrl)print result.read()

　　以上程式的原理如下

　　建立一個帶有cookie的opener，在訪問登入的URL時，將登入後的cookie儲存下來，然後利用這個cookie來訪問其他網址。

　　如登入之後才能查看的成績查詢呀，本學期課表呀等等網址，類比登入就這麼實現啦，是不是很酷炫？

　　

　　Regex

 Regex是用來匹配字串非常強大的工具，在其他程式設計語言中同樣有Regex的概念，Python同樣不例外，利用了Regex，我們想要從返回的頁面內容提取出我們想要的內容就易如反掌了。

Regex的大致匹配過程是：1.依次拿出運算式和文本中的字元比較，2.如果每一個字元都能匹配，則匹配成功；一旦有匹配不成功的字元則匹配失敗。3.如果運算式中有量詞或邊界，這個過程會稍微有一些不同。

　　2.Regex的文法規則

　　　　下面是Python中Regex的一些匹配規則，圖片資料來自CSDN

 

　　3.Regex相關註解　　　　（1）數量詞的貪婪模式與非貪婪模式

　　Regex通常用於在文本中尋找匹配的字串。Python裡數量詞預設是貪婪的（在少數語言裡也可能是預設非貪婪），總是嘗試匹配儘可能多的字元；非貪婪的則相反，總是嘗試匹配儘可能少的字元。例如：Regex”ab*”如果用於尋找”abbbc”，將找到”abbb”。而如果使用非貪婪的數量詞”ab*?”，將找到”a”。

註：我們一般使用非貪婪模式來提取。

　　（2）反斜線問題

　　與大多數程式設計語言相同，Regex裡使用”\”作為逸出字元，這就可能造成反斜線困擾。假如你需要匹配文本中的字元”\”，那麼使用程式設計語言表示的Regex裡將需要4個反斜線”\\\\”：前兩個和後兩個分別用於在程式設計語言裡轉義成反斜線，轉換成兩個反斜線後再在Regex裡轉義成一個反斜線。

Python裡的原生字串很好地解決了這個問題，這個例子中的Regex可以使用r”\\”表示。同樣，匹配一個數位”\\d”可以寫成r”\d”。有了原生字串，媽媽也不用擔心是不是漏寫了反斜線，寫出來的運算式也更直觀勒。

　　4.Python Re模組

　　　　Python 內建了re模組，它提供了對Regex的支援。主要用到的方法列舉如下

 

#返回pattern對象re.compile(string[,flag])  #以下為匹配所用函數re.match(pattern, string[, flags])re.search(pattern, string[, flags])re.split(pattern, string[, maxsplit])re.findall(pattern, string[, flags])re.finditer(pattern, string[, flags])re.sub(pattern, repl, string[, count])re.subn(pattern, repl, string[, count])

　　在介紹這幾個方法之前，我們先來介紹一下pattern的概念，pattern可以理解為一個匹配模式，那麼我們怎麼獲得這個匹配模式呢？很簡單，我們需要利用re.compile方法就可以。例如

 

pattern = re.compile(r‘hello‘)

 

在參數中我們傳入了原生字串對象，通過compile方法編譯產生一個pattern對象，然後我們利用這個對象來進行進一步的匹配。

另外大家可能注意到了另一個參數 flags，在這裡解釋一下這個參數的含義：

參數flag是匹配模式，取值可以使用按位或運算子’|’表示同時生效，比如re.I | re.M。

可選值有：

 

 • re.I(全拼：IGNORECASE): 忽略大小寫（括弧內是完整寫法，下同） • re.M(全拼：MULTILINE): 多行模式，改變‘^‘和‘$‘的行為（參見） • re.S(全拼：DOTALL): 點任意匹配模式，改變‘.‘的行為 • re.L(全拼：LOCALE): 使預定字元類 \w \W \b \B \s \S 取決於目前範圍設定 • re.U(全拼：UNICODE): 使預定字元類 \w \W \b \B \s \S \d \D 取決於unicode定義的字元屬性 • re.X(全拼：VERBOSE): 詳細模式。這個模式下Regex可以是多行，忽略空白字元，並可以加入注釋。

　　在剛才所說的另外幾個方法例如 re.match 裡我們就需要用到這個pattern了，下面我們一一介紹。

 

註：以下七個方法中的flags同樣是代表匹配模式的意思，如果在pattern產生時已經指明了flags，那麼在下面的方法中就不需要傳入這個參數了。

　　（1）re.match(pattern, string[, flags])

　　這個方法將會從string（我們要匹配的字串）的開頭開始，嘗試匹配pattern，一直向後匹配，如果遇到無法匹配的字元，立即返回None，如果匹配未結束已經到達string的末尾，也會返回None。兩個結果均表示匹配失敗，否則匹配pattern成功，同時匹配終止，不再對string向後匹配。下面我們通過一個例子理解一下

 

__author__ = ‘CQC‘# -*- coding: utf-8 -*-#匯入re模組import re# 將Regex編譯成Pattern對象，注意hello前面的r的意思是“原生字串”pattern = re.compile(r‘hello‘)# 使用re.match匹配文本，獲得匹配結果，無法匹配時將返回Noneresult1 = re.match(pattern,‘hello‘)result2 = re.match(pattern,‘helloo CQC!‘)result3 = re.match(pattern,‘helo CQC!‘)result4 = re.match(pattern,‘hello CQC!‘)#如果1匹配成功if result1:    # 使用Match獲得分組資訊    print result1.group()else:    print ‘1匹配失敗！‘#如果2匹配成功if result2:    # 使用Match獲得分組資訊    print result2.group()else:    print ‘2匹配失敗！‘#如果3匹配成功if result3:    # 使用Match獲得分組資訊    print result3.group()else:    print ‘3匹配失敗！‘#如果4匹配成功if result4:    # 使用Match獲得分組資訊    print result4.group()else:    print ‘4匹配失敗！‘

 

　　運行結果

hellohello3匹配失敗hello

　

　　匹配分析

　　1.第一個匹配，patternRegex為’hello’，我們匹配的目標字串string也為hello，從頭至尾完全符合，匹配成功。

　　2.第二個匹配，string為helloo CQC，從string頭開始匹配pattern完全可以匹配，pattern匹配結束，同時匹配終止，後面的o CQC不再匹配，返回匹配成功的資訊。

　　3.第三個匹配，string為helo CQC，從string頭開始匹配pattern，發現到 ‘o’ 時無法完成匹配，匹配終止，返回None

　　4.第四個匹配，同第二個匹配原理，即使遇到了空格符也不會受影響。

　　我們還看到最後列印出了result.group()，這個是什麼意思呢？下面我們說一下關於match對象的的屬性和方法
Match對象是一次匹配的結果，包含了很多關於此次匹配的資訊，可以使用Match提供的可讀屬性或方法來擷取這些資訊。

屬性：1.string: 匹配時使用的文本。2.re: 匹配時使用的Pattern對象。3.pos: 文本中Regex開始搜尋的索引。值與Pattern.match()和Pattern.seach()方法的同名參數相同。4.endpos: 文本中Regex結束搜尋的索引。值與Pattern.match()和Pattern.seach()方法的同名參數相同。5.lastindex: 最後一個被捕獲的分組在文本中的索引。如果沒有被捕獲的分組，將為None。6.lastgroup: 最後一個被捕獲的分組的別名。如果這個分組沒有別名或者沒有被捕獲的分組，將為None。方法：1.group([group1, …]):獲得一個或多個分組截獲的字串；指定多個參數時將以元組形式返回。group1可以使用編號也可以使用別名；編號0代表整個匹配的子串；不填寫參數時，返回group(0)；沒有截獲字串的組返回None；截獲了多次的組返回最後一次截獲的子串。2.groups([default]):以元組形式返回全部分組截獲的字串。相當於調用group(1,2,…last)。default表示沒有截獲字串的組以這個值替代，預設為None。3.groupdict([default]):返回以有別名的組的別名為鍵、以該組截獲的子串為值的字典，沒有別名的組不包含在內。default含義同上。4.start([group]):返回指定的組截獲的子串在string中的起始索引（子串第一個字元的索引）。group預設值為0。5.end([group]):返回指定的組截獲的子串在string中的結束索引（子串最後一個字元的索引+1）。group預設值為0。6.span([group]):返回(start(group), end(group))。7.expand(template):將匹配到的分組代入template中然後返回。template中可以使用\id或\g、\g引用分組，但不能使用編號0。\id與\g是等價的；但\10將被認為是第10個分組，如果你想表達\1之後是字元’0’，只能使用\g0。

　　

 下面我們用一個例子來體會一下

# -*- coding: utf-8 -*-#一個簡單的match執行個體import re# 匹配如下內容：單詞+空格+單詞+任一字元m = re.match(r‘(\w+) (\w+)(?P<sign>.*)‘, ‘hello world!‘)print "m.string:", m.stringprint "m.re:", m.reprint "m.pos:", m.posprint "m.endpos:", m.endposprint "m.lastindex:", m.lastindexprint "m.lastgroup:", m.lastgroupprint "m.group():", m.group()print "m.group(1,2):", m.group(1, 2)print "m.groups():", m.groups()print "m.groupdict():", m.groupdict()print "m.start(2):", m.start(2)print "m.end(2):", m.end(2)print "m.span(2):", m.span(2)print r"m.expand(r‘\g \g\g‘):", m.expand(r‘\2 \1\3‘) ### output #### m.string: hello world!# m.re: # m.pos: 0# m.endpos: 12# m.lastindex: 3# m.lastgroup: sign# m.group(1,2): (‘hello‘, ‘world‘)# m.groups(): (‘hello‘, ‘world‘, ‘!‘)# m.groupdict(): {‘sign‘: ‘!‘}# m.start(2): 6# m.end(2): 11# m.span(2): (6, 11)# m.expand(r‘\2 \1\3‘): world hello!

　　

　　（2）re.search(pattern, string[, flags])

　　search方法與match方法極其類似，區別在於match()函數只檢測re是不是在string的開始位置匹配，search()會掃描整個string尋找匹配，match（）只有在0位置匹配成功的話才有返回，如果不是開始位置匹配成功的話，match()就返回None。同樣，search方法的返回對象同樣match()返回對象的方法和屬性。我們用一個例子感受一下

#匯入re模組import re# 將Regex編譯成Pattern對象pattern = re.compile(r‘world‘)# 使用search()尋找匹配的子串，不存在能匹配的子串時將返回None# 這個例子中使用match()無法成功匹配match = re.search(pattern,‘hello world!‘)if match:    # 使用Match獲得分組資訊    print match.group()### 輸出 #### world

　　

　　（3）re.split(pattern, string[, maxsplit])

　　按照能夠匹配的子串將string分割後返回列表。maxsplit用於指定最大分割次數，不指定將全部分割。我們通過下面的例子感受一下。

 

import repattern = re.compile(r‘\d+‘)print re.split(pattern,‘one1two2three3four4‘)### 輸出 #### [‘one‘, ‘two‘, ‘three‘, ‘four‘, ‘‘]

　　

　　（4）re.findall(pattern, string[, flags])

　　搜尋string，以列表形式返回全部能匹配的子串。我們通過這個例子來感受一下

 

import repattern = re.compile(r‘\d+‘)print re.findall(pattern,‘one1two2three3four4‘)### 輸出 #### [‘1‘, ‘2‘, ‘3‘, ‘4‘]

　　（5）re.finditer(pattern, string[, flags])

搜尋string，返回一個順序訪問每一個匹配結果（Match對象）的迭代器。我們通過下面的例子來感受一下

import re pattern = re.compile(r‘\d+‘)for m in re.finditer(pattern,‘one1two2three3four4‘):    print m.group(), ### 輸出 #### 1 2 3 4

　　（6）re.sub(pattern, repl, string[, count])

　　使用repl替換string中每一個匹配的子串後返回替換後的字串。
當repl是一個字串時，可以使用\id或\g、\g引用分組，但不能使用編號0。
當repl是一個方法時，這個方法應當只接受一個參數（Match對象），並返回一個字串用於替換（返回的字串中不能再引用分組）。
count用於指定最多替換次數，不指定時全部替換。

import repattern = re.compile(r‘(\w+) (\w+)‘)s = ‘i say, hello world!‘print re.sub(pattern,r‘\2 \1‘, s)def func(m):    return m.group(1).title() + ‘ ‘ + m.group(2).title()print re.sub(pattern,func, s)### output #### say i, world hello!# I Say, Hello World!

　　

　　（7）re.subn(pattern, repl, string[, count])

　　返回 (sub(repl, string[, count]), 替換次數)。

import re pattern = re.compile(r‘(\w+) (\w+)‘)s = ‘i say, hello world!‘ print re.subn(pattern,r‘\2 \1‘, s) def func(m):    return m.group(1).title() + ‘ ‘ + m.group(2).title() print re.subn(pattern,func, s) ### output #### (‘say i, world hello!‘, 2)# (‘I Say, Hello World!‘, 2)

　　

　5.Python Re模組的另一種使用方式

　　在上面我們介紹了7個工具方法，例如match，search等等，不過調用方式都是 re.match，re.search的方式，其實還有另外一種調用方式，可以通過pattern.match，pattern.search調用，這樣調用便不用將pattern作為第一個參數傳入了，大家想怎樣調用皆可。

函數API列表

 match(string[, pos[, endpos]]) | re.match(pattern, string[, flags]) search(string[, pos[, endpos]]) | re.search(pattern, string[, flags]) split(string[, maxsplit]) | re.split(pattern, string[, maxsplit]) findall(string[, pos[, endpos]]) | re.findall(pattern, string[, flags]) finditer(string[, pos[, endpos]]) | re.finditer(pattern, string[, flags]) sub(repl, string[, count]) | re.sub(pattern, repl, string[, count]) subn(repl, string[, count]) |re.sub(pattern, repl, string[, count])

　　

具體的調用方法不必詳說了，原理都類似，只是參數的變化不同。小夥伴們嘗試一下吧~

 

爬蟲進階篇