Python 爬蟲入門(requests),pythonrequests

來源:互聯網
上載者:User

Python 爬蟲入門(requests),pythonrequests

相信最開始接觸Python爬蟲學習的同學最初大多使用的是urllib,urllib2。在那之後接觸到了第三方庫requests,requests完全能滿足各種http功能,真的是好用爆了 :D

他們是這樣說的:

“Requests 唯一的一個非轉基因的 Python HTTP 庫,人類可以安全享用。Requests 允許你發送純天然,植物飼養的 HTTP/1.1 請求,無需手工勞動。你不需要手動為 URL 添加查詢字串,也不需要對 POST 資料進行表單編碼。Keep-alive 和 HTTP 串連池的功能是 100% 自動化的,一切動力都來自於根植在 Requests 內部的 urllib3。”

-----來自官方文檔(http://cn.python-requests.org/zh_CN/latest/)

敲入命令“Pip Install Requests”安裝即可享用(前提是已經安裝了pip)

還等什麼呢?趕緊import requests加入豪華午餐吧

先看看幾個常用的方法和屬性:

  1.requests.Session()這樣就可以在會話中保留狀態,保持cookie等

  2.requests.get()擷取某個網頁,get時你可以使用params參數發送一些資料過去

d = {key1 : value1, key2 : value2 }requests.get(‘URL’, params=d)

   get時也可以使用headers參數定製要求標頭。

h = {key1 : value1, key2 : value2 }requests.get(‘URL’, headers=d)

  3.requests.post()發送post請求,類似的,post時也可以發送資料(使用data參數)和定製要求標頭(使用headers參數)。

一些常用的屬性:

eg=requests.get()eg.text  #可以擷取響應的內容如抓回來的網頁eg. encoding='utf-8'  #有時回來的是亂碼,改變編碼以使其正常顯示根據實際情況改變編碼utf-8、gb2312等eg. content  #可以擷取二進位內容,如抓取登陸時的驗證碼等非字元資源eg.cookies  #可以查看當前儲存的cookie情況eg. status_code  #可以查看HTTP狀態代碼(如200 OK、404 Not Found等)eg.url  #可以查看當前請求的網址

其他詳細內容參見官方文檔(http://cn.python-requests.org/zh_CN/latest/)

 

好了,其實只要懂那麼一點點就可以進行爬蟲之旅了。

一個有趣的現象:童鞋們在學習爬蟲時都會去爬一個叫做“教務處”的網站,哈哈。那這裡的小爬蟲也是以登陸本校(成都資訊工程大學)的教務處作為執行個體

首先使用瀏覽器開啟教務處,按F12開啟“開發人員工具”,進行一次正常的登陸,對登陸的資料進行分析。

  1.教務處的登陸頁面為http://210.41.224.117/Login/xLogin/Login.asp

  2.在開發人員工具中點擊網路,經查看登陸的發送post資料的地址也是http://210.41.224.117/Login/xLogin/Login.asp

  3.同時看到post的資料包括如下

 

參數列表

 

表單名

例

說明

WinW

1366

螢幕解析度-寬

WinH

728

螢幕解析度-高

txtId

2013215042

學號

txtMM

123456

密碼

verifycode

123a

驗證碼

codeKey

597564

動態登陸碼,html檔案中可見

Login

Check

登陸類型(固定)

IbtnEnter.x

10

登陸按鈕點擊位置

IbtnEnter.y

10

登陸按鈕點擊位置

 

 “開發人員工具”中的登陸post表單資料:

#coding=utf-8import requestsimport reimport timeimport randomfrom PIL import Imageimport cStringIOdef login(username,password): headers = { #要求標頭請求重新整理驗證碼和發送post時需要使用 'Host': '210.41.224.117', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0', 'Accept': '*/*', 'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3', 'Accept-Encoding': 'gzip, deflate', 'Referer': 'http://210.41.224.117/Login/xLogin/Login.asp', 'Connection': 'keep-alive' } session = requests.Session() step1 = session.get('http://jxgl.cuit.edu.cn/JXGL/xs/MainMenu.asp') #連get兩次學生首頁以跳轉至登陸頁 step1 = session.get("http://jxgl.cuit.edu.cn/Jxgl/Xs/MainMenu.asp") get_osid_url = re.compile(r'content="0;URL=(.*?)">') #擷取含OSid的跳轉網址 osid_url = get_osid_url.findall(step1.text) step2 = session.get(osid_url[0]) #跳轉,上文要點1 get_codeKey = re.compile(r'var codeKey = \'(.*?)\';') #在登陸頁html中擷取codeKey(參數k) codeKey = get_codeKey.findall(step2.text) timeKey = str(time.time())[:10] + str(random.randint(100, 999)) #產生參數t的值(時間戳記+三位隨機數) payload = {'k': codeKey[0], 't': timeKey} yzm_url='http://210.41.224.117/Login/xLogin/yzmDvCode.asp' yzmdata = session.get(yzm_url, params=payload, headers=headers) #重新整理驗證碼,上文要點2 tempIm = cStringIO.StringIO(yzmdata.content) im = Image.open(tempIm) im.show() yzm = raw_input('please enter yzm: ') #人工識別驗證碼後輸入 post_data = { 'WinW': '1366', 'WinH': '728', 'txtId': username, 'txtMM': password, 'verifycode': yzm, 'codeKey': codeKey[0], 'Login': 'Check', 'IbtnEnter.x': 10, 'IbtnEnter.y': 10 } post_url='http://210.41.224.117/Login/xLogin/Login.asp' step3 = session.post(post_url, data=post_data, headers=headers) #post登陸資料 return sessioncuitJWC=login('username','password')con=cuitJWC.get('http://jxgl.cuit.edu.cn/JXGL/xs/MainMenu.asp')con.encoding='gb2312'print con.text

 

 

轉載請註明出處:http://www.cnblogs.com/lucky-pin/p/5806394.html 

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.