cookielib是一個自動處理cookies的模組,如果我們在使用爬蟲等技術的時候需要儲存cookie,那麼cookielib會讓你事半功倍!他最常見的搭檔模組就是python下的urllib和request。
核心類
1.Cookie
該類實現了Netscape and RFC 2965 cookies定義的cookie標準,基本可以理解為某一條cookie資料。
部分代碼如下,很多屬性是不是很眼熟?
self.domain_initial_dot = domain_initial_dot self.path = path self.path_specified = path_specified self.secure = secure self.expires = expires self.discard = discard self.comment = comment self.comment_url = comment_url self.rfc2109 = rfc2109
2.CookiePolicy
該類的主要功能是收發cookie,即確保正確的cookie發往對應的網域名稱,反之一樣。
3.DefaultCookiePolicy
該類實現了CookiePolicy的介面。
4.CookieJar
CookieJar是cookie的集合,可以包含有很多Cookie類,是我們的主要操作對象。裡面有一系列的方法可以支援更加細緻的操作!
5.FileCookieJar
該類繼承自CookieJar,CookieJar只是在記憶體中完成自己的生命週期,FileCookieJar的子類能夠實現資料持久化,定義了save、load、revert三個介面。
6.MozillaCookieJar & LWPCookieJar
兩個實作類別,繼承關係如下:
執行個體:登入人人網
在firefox下使用httpFox外掛程式來查到人人網的登入時需要POST的地址是http://www.renren.com/ajaxLogin
而且查看到需要POST的DATA有email和password
python通過cookielib來處理cookie,以下是簡單的代碼
>>> import urllib>>> import urllib2,cookielib>>> login_page = "http://www.renren.com/ajaxLogin">>> cj = cookielib.CookieJar()>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))>>> opener.add_handler = [('User-agent','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)')]>>> data = urllib.urlencode({"email":'username',"password":'password'}) >>> opener.open(login_page,data)>>>> if cj:... for index,cookie in enumerate(cj):... print index,':',cookie... 0 : 1 : 2 : 3 : 4 : 5 : 6 : 7 : 8 : 9 : 10 : 11 : >>>
可以和firebug或者httpFox中得到的cookie進行對比,值可能不一致,但key基本上是一致的,你每次登入應該都不一致
我也嘗試過使用fidder類比發送沒有cookie的POST資料,但是沒有得到想要的傳回值
而加上cookie資訊以後就可以正常的跳轉到自己的首頁了
好了,基本上瞭解了python中使用cookie來發送登入資訊,現在我們來寫一個小指令碼來登入自己人人網。
#encoding=utf-8import urllib2import urllibimport cookielibdef renrenBrower(url,user,password): login_page = "http://www.renren.com/ajaxLogin" try: cj = cookielib.CookieJar() opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) opener.addheaders = [('User-agent','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)')] data = urllib.urlencode({"email":user,"password":password}) opener.open(login_page,data) op=opener.open(url) data= op.read() return data except Exception,e: print str(e)print renrenBrower("http://www.renren.com/home","使用者名稱","密碼")
這樣就可以將自己首頁的資訊顯示出來了,其實在登入完以後,還可以接著寫指令碼來擷取自己想要的資訊,如朋友的新鮮事等,這裡就不作過多說明了~