分別用python2和python3偽裝瀏覽器爬取網頁內容

python網頁抓取功能非常強大，使用urllib或者urllib2可以很輕鬆的抓取網頁內容。但是很多時候我們要注意，可能很多網站都設定了防採集功能，不是那麼輕鬆就能抓取到想要的內容。

今天我來分享下載python2和python3中都是如何來類比瀏覽器來跳過屏蔽進行抓取的。

最基礎的抓取：

#! /usr/bin/env python# -*- coding=utf-8 -*-# @Author pythontabimport urllib.requesturl = "http://www.pythontab.com"html = urllib.request.urlopen(url).read(）print(html)

但是...有些網站不能抓取，進行了防採集設定，所以我們要變換一下方法

python2中（最新穩定版本python2.7）

#! /usr/bin/env python# -*- coding=utf-8 -*-# @Author pythontab.comimport urllib2url="http://pythontab.com"req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',             'Accept':'text/html;q=0.9,*/*;q=0.8',             'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',             'Accept-Encoding':'gzip',             'Connection':'close',             'Referer':None #注意如果依然不能抓取的話，這裡可以設定抓取網站的host             }req_timeout = 5req = urllib2.Request(url,None,req_header)resp = urllib2.urlopen(req,None,req_timeout)html = resp.read()print(html)

python3中（最新穩定版本python3.3）

#! /usr/bin/env python# -*- coding=utf-8 -*-# @Author pythontabimport urllib.request  url = "http://www.pythontab.com"headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',             'Accept':'text/html;q=0.9,*/*;q=0.8',             'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',             'Accept-Encoding':'gzip',             'Connection':'close',             'Referer':None #注意如果依然不能抓取，這裡可以設定抓取網站的host             }  opener = urllib.request.build_opener()opener.addheaders = [headers]data = opener.open(url).read()print(data)

