Python 爬蟲入門(requests),pythonrequests
相信最開始接觸Python爬蟲學習的同學最初大多使用的是urllib,urllib2。在那之後接觸到了第三方庫requests,requests完全能滿足各種http功能,真的是好用爆了 :D
他們是這樣說的:
“Requests 唯一的一個非轉基因的 Python HTTP 庫,人類可以安全享用。Requests 允許你發送純天然,植物飼養的 HTTP/1.1 請求,無需手工勞動。你不需要手動為 URL 添加查詢字串,也不需要對 POST 資料進行表單編碼。Keep-alive 和 HTTP 串連池的功能是 100% 自動化的,一切動力都來自於根植在 Requests 內部的 urllib3。”
-----來自官方文檔(http://cn.python-requests.org/zh_CN/latest/)
敲入命令“Pip Install Requests”安裝即可享用(前提是已經安裝了pip)
還等什麼呢?趕緊import requests加入豪華午餐吧
先看看幾個常用的方法和屬性:
1.requests.Session()這樣就可以在會話中保留狀態,保持cookie等
2.requests.get()擷取某個網頁,get時你可以使用params參數發送一些資料過去
d = {key1 : value1, key2 : value2 }requests.get(‘URL’, params=d)
get時也可以使用headers參數定製要求標頭。
h = {key1 : value1, key2 : value2 }requests.get(‘URL’, headers=d)
3.requests.post()發送post請求,類似的,post時也可以發送資料(使用data參數)和定製要求標頭(使用headers參數)。
一些常用的屬性:
eg=requests.get()eg.text #可以擷取響應的內容如抓回來的網頁eg. encoding='utf-8' #有時回來的是亂碼,改變編碼以使其正常顯示根據實際情況改變編碼utf-8、gb2312等eg. content #可以擷取二進位內容,如抓取登陸時的驗證碼等非字元資源eg.cookies #可以查看當前儲存的cookie情況eg. status_code #可以查看HTTP狀態代碼(如200 OK、404 Not Found等)eg.url #可以查看當前請求的網址
其他詳細內容參見官方文檔(http://cn.python-requests.org/zh_CN/latest/)
好了,其實只要懂那麼一點點就可以進行爬蟲之旅了。
一個有趣的現象:童鞋們在學習爬蟲時都會去爬一個叫做“教務處”的網站,哈哈。那這裡的小爬蟲也是以登陸本校(成都資訊工程大學)的教務處作為執行個體
首先使用瀏覽器開啟教務處,按F12開啟“開發人員工具”,進行一次正常的登陸,對登陸的資料進行分析。
1.教務處的登陸頁面為http://210.41.224.117/Login/xLogin/Login.asp
2.在開發人員工具中點擊網路,經查看登陸的發送post資料的地址也是http://210.41.224.117/Login/xLogin/Login.asp
3.同時看到post的資料包括如下
|
參數列表
|
|
表單名 |
例 |
說明 |
|
WinW |
1366 |
螢幕解析度-寬 |
|
WinH |
728 |
螢幕解析度-高 |
|
txtId |
2013215042 |
學號 |
|
txtMM |
123456 |
密碼 |
|
verifycode |
123a |
驗證碼 |
|
codeKey |
597564 |
動態登陸碼,html檔案中可見 |
|
Login |
Check |
登陸類型(固定) |
|
IbtnEnter.x |
10 |
登陸按鈕點擊位置 |
|
IbtnEnter.y |
10 |
登陸按鈕點擊位置 |
“開發人員工具”中的登陸post表單資料:
#coding=utf-8import requestsimport reimport timeimport randomfrom PIL import Imageimport cStringIOdef login(username,password): headers = { #要求標頭請求重新整理驗證碼和發送post時需要使用 'Host': '210.41.224.117', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0', 'Accept': '*/*', 'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3', 'Accept-Encoding': 'gzip, deflate', 'Referer': 'http://210.41.224.117/Login/xLogin/Login.asp', 'Connection': 'keep-alive' } session = requests.Session() step1 = session.get('http://jxgl.cuit.edu.cn/JXGL/xs/MainMenu.asp') #連get兩次學生首頁以跳轉至登陸頁 step1 = session.get("http://jxgl.cuit.edu.cn/Jxgl/Xs/MainMenu.asp") get_osid_url = re.compile(r'content="0;URL=(.*?)">') #擷取含OSid的跳轉網址 osid_url = get_osid_url.findall(step1.text) step2 = session.get(osid_url[0]) #跳轉,上文要點1 get_codeKey = re.compile(r'var codeKey = \'(.*?)\';') #在登陸頁html中擷取codeKey(參數k) codeKey = get_codeKey.findall(step2.text) timeKey = str(time.time())[:10] + str(random.randint(100, 999)) #產生參數t的值(時間戳記+三位隨機數) payload = {'k': codeKey[0], 't': timeKey} yzm_url='http://210.41.224.117/Login/xLogin/yzmDvCode.asp' yzmdata = session.get(yzm_url, params=payload, headers=headers) #重新整理驗證碼,上文要點2 tempIm = cStringIO.StringIO(yzmdata.content) im = Image.open(tempIm) im.show() yzm = raw_input('please enter yzm: ') #人工識別驗證碼後輸入 post_data = { 'WinW': '1366', 'WinH': '728', 'txtId': username, 'txtMM': password, 'verifycode': yzm, 'codeKey': codeKey[0], 'Login': 'Check', 'IbtnEnter.x': 10, 'IbtnEnter.y': 10 } post_url='http://210.41.224.117/Login/xLogin/Login.asp' step3 = session.post(post_url, data=post_data, headers=headers) #post登陸資料 return sessioncuitJWC=login('username','password')con=cuitJWC.get('http://jxgl.cuit.edu.cn/JXGL/xs/MainMenu.asp')con.encoding='gb2312'print con.text
轉載請註明出處:http://www.cnblogs.com/lucky-pin/p/5806394.html