Python爬蟲基礎與技巧

標籤：error   .gz   檢查   線程並發   直接   抓取   Proxy 伺服器   瀏覽器   return   

基於Python2.7

1 基本抓取網頁

get 方法

import urllib2url = "http://www.baidu.com"response = urllib2.urlopen(url)print response.read()

post 方法

import urllibimport urllib2 url = "http://abcde.com"form = {'name':'abc','password':'1234'}form_data = urllib.urlencode(form)request = urllib2.Request(url,form_data)response = urllib2.urlopen(request)print response.read()

2 使用代理IP

在開發爬蟲過程中經常會遇到IP被封掉的情況，這時要用到代理IP；

在urllib2包中有ProxyHandler類，通過此類可以設定代理訪問網頁，如下：

import urllib2 proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8087'})opener = urllib2.build_opener(proxy)urllib2.install_opener(opener)response = urllib2.urlopen(' print response.read()

3 Cookies處理

cookies是某些網站為了辨別使用者身份、進行session跟蹤而儲存在使用者本地終端上的資料(通常經過加密)，python提供了cookielib模組用於處理cookies，cookielib模組的主要作用是提供可儲存cookie的對象，以便於與 urllib2模組配合使用來訪問 Internet資源.

import urllib2, cookielib cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())opener = urllib2.build_opener(cookie_support)urllib2.install_opener(opener)content = urllib2.urlopen('http://XXXX').read()

關鍵在於CookieJar()，它用於管理HTTP cookie值、儲存HTTP請求產生的cookie、向傳出的HTTP請求添加cookie的對象。

整個cookie都儲存在記憶體中，對CookieJar執行個體進行記憶體回收後cookie也將丟失，所有過程都不需要單獨去操作。

4 偽裝成瀏覽器

某些網站反感爬蟲的到訪，於是對爬蟲一律拒絕請求。所以用urllib2直接存取網站經常會出現HTTP Error 403: Forbidden的情況

對有些 header 要特別留意，Server 端會針對這些 header 做檢查

  1.User-Agent 有些 Server 或 Proxy 會檢查該值，用來判斷是否是瀏覽器發起的 Request

  2.Content-Type 在使用 REST 介面時，Server 會檢查該值，用來確定 HTTP Body 中的內容該怎樣解析。

這時可以通過修改http包中的header來實現，程式碼片段如下：

import urllib2 headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}request = urllib2.Request(    url = 'http://my.oschina.net/jhao104/blog?catalog=3463517',    headers = headers)print urllib2.urlopen(request).read()

5 頁面解析

對於頁面解析最強大的當然是Regex，這個對於不同網站不同的使用者都不一樣，兩個比較好的網址：

Regex入門：http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html 

Regex線上測試：http://tool.oschina.net/regex/ 

其次就是解析庫了，常用的有兩個lxml和BeautifulSoup，對於這兩個的使用介紹兩個比較好的網站：

lxml：http://my.oschina.net/jhao104/blog/639448 

BeautifulSoup：http://cuiqingcai.com/1319.html 

對於這兩個庫，都是HTML/XML的處理庫

Beautifulsoup純python實現，效率低，但是功能實用，比如能用通過結果搜尋獲得某個HTML節點的源碼；

lxml是C語言實現，高效，支援Xpath

6、驗證碼的處理

對於一些簡單的驗證碼，可以進行簡單的識別。只進行過一些簡單的驗證碼識別。

7、gzip壓縮

有些網頁，不論怎麼轉碼都是一團亂碼。許多web服務具有發送壓縮資料的能力，這可以將網路線路上傳輸的大量資料消減 60% 以上。這尤其適用於 XML web 服務，因為 XML 資料 的壓縮率可以很高。

但是一般伺服器不會為你發送壓縮資料，除非你告訴伺服器你可以處理壓縮資料。

需要這樣修改代碼：

import urllib2, httplibrequest = urllib2.Request('http://xxxx.com')request.add_header('Accept-encoding', 'gzip')        1opener = urllib2.build_opener()f = opener.open(request)

這是關鍵:

建立Request對象，添加一個 Accept-encoding 頭資訊告訴伺服器你能接受 gzip 壓縮資料

然後就是解壓縮資料：

import StringIOimport gzip compresseddata = f.read() compressedstream = StringIO.StringIO(compresseddata)gzipper = gzip.GzipFile(fileobj=compressedstream) print gzipper.read()

8 多線程並發抓取

單線程太慢，就需要多線程了

雖說python的多線程很雞肋，但是對於爬蟲這種網路頻繁型，還是能一定程度提高效率的。

對於多線程的爬取，還有一個比較實用的方法是使用Scrapy，Scrapy使用了Twisted作為架構，採用多線程非同步爬取，能夠大大加快爬取速度。不過也就增加了，被伺服器拒絕訪問的可能，需要另外解決。

9 反”反盜鏈”

某些網站有所謂的反盜鏈設定，其實說穿了很簡單，就是檢查你發送請求的header裡面，referer網站是不是他自己，所以我們只需要把headers的referer改成該網站即可：

headers = { 'Referer':'http://www.baidu.com'}

headers是一個dict資料結構，你可以放入任何想要的header，來做一些偽裝。

10 終極招數

有時候訪問還是會被據，那麼沒辦法，老老實實把httpfox中看到的headers全都寫上，那一般也就行了。 再不行，那就只能用終極絕招了，selenium直接控制瀏覽器來進行訪問，只要瀏覽器可以做到的，那麼它也可以做到。類似的還有pamie，watir等等。

11 一些經驗

1、串連池：

opener.open和urllib2.urlopen一樣，都會建立一個http請求。通常情況下這不是什麼問題，因為線性環境下，一秒鐘可能也就新產生一個請求；然而在多線程環境下，每秒鐘可以是幾十上百個請求，這麼幹只要幾分鐘，正常的有理智的伺服器一定會封鎖的。

然而在正常的html請求時，保持同時和伺服器幾十個串連又是很正常的一件事，所以完全可以手動維護一個HttpConnection的池，然後每次抓取時從串連池裡面選串連進行串連即可。

這裡有一個取巧的方法，就是利用squid做Proxy 伺服器來進行抓取，則squid會自動維護串連池，還附帶資料緩衝功能，而且squid本來就是我每個伺服器上面必裝的。

2、設定失敗後自動重試

def get(self,req,retries=3):                 try:       response = self.opener.open(req)       data = response.read()     except Exception:       print what,req       if retries>0:         return self.get(req,retries-1)       else:         print 'GET Failed',req         return ''                 return data

3、設定逾時

import socketsocket.setdefaulttimeout(10) #設定10秒後連線逾時

Python爬蟲基礎與技巧