在Python中使用cookielib和urlib2配合PyQuery抓取網頁資訊

剛才好無聊，突然想起來之前做一個課表的點子，於是百度了起來。

剛開始，我是這樣想的：在寫牆的時候，用到了urllib2【兩行代碼抓網頁】，那麼就只剩下解析html了。於是百度：python解析html。發現一篇好文章，其中介紹到了pyQuery。

pyQuery 是 jQuery 在 Python 中的實現，能夠以 jQuery 的文法來操作解析 HTML 文檔。使用前需要安裝，Mac安裝方法如下：

sudo easy_install pyquery

OK！安裝好了！

我們來試一試吧：

from pyquery import PyQuery as pqhtml = pq(url=u'http://seam.ustb.edu.cn:8080/jwgl/index.jsp')#現在已經擷取了本科教學網首頁的htmlclasses = html('.haveclass')#通過類名擷取元素#如果你對jQuery熟悉的話，那麼你現在肯定明白pyQuery的方便了更多用法參見pyQuery API

好像學會了使用pyQuery就能抓課表了呢，但是，如果你直接用我的源碼，肯定會出錯。因為還沒有登入啊！

所以，在運行這一行抓取正確的代碼之前，我們需要類比登入本科教學網。這個時候，我想起來urllib有類比post請求的函數，於是我百度了：urllib post。

這是一個最簡的類比post請求例子：

import urllibimport urllib2import cookielibcj = cookielib.CookieJar()opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))opener.addheaders = [('User-agent','Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)')]urllib2.install_opener(opener)req = urllib2.Request("http://seam.ustb.edu.cn:8080/jwgl/Login",urllib.urlencode({"username":"41255029","password":"123456","usertype":"student"}))req.add_header("Referer","http://xxoo.com")resp = urllib2.urlopen(req)#這裡面用到了cookielib，我不太清楚，以後慢慢瞭解吧#還用到了urllib和urllib2，urllib2大概是urllib的擴充包【233想到了三國殺

在這個最簡的執行個體裡，用我的校園網帳號向登入頁面提交表單資料，類比登入。

現在，我們已經登入了本科教學網，然後結合之前的pyQuery解析html就可以擷取網頁內的課表了。

html = pq(url=u'http://seam.ustb.edu.cn:8080/jwgl/index.jsp')self.render("index.html",data=html('.haveclass'))

結果展示

最後：

我發現，pyQuery不但用於解析html非常方便，而且可以作為跨域抓取資料的工具，NICE!!!

希望對大家有協助。

