10-穿牆代理的設定 | 01.資料抓取 | Python

文章目錄

• 1.2.urllib2 的設定
• 1.3.httplib 的設定
• 1.5.socket代理
• 1.6.twisted.web.client 的設定
• 2.1.urllib2 的設定

10-穿牆代理的設定

鄭昀 201005 隸屬於《01.資料抓取》小節

 

我們訪問 Twitter 等被封掉的網站時，需要設定 Proxy 。

1.使用HTTP Proxy

下面是普通HTTP Proxy的設定方式：

1.1.pycurl 的設定

_proxy_connect = "http://127.0.0.1:1984"

c = pycurl.Curl()

…

c.setopt(pycurl.PROXY, _proxy_connect)

 

1.2.urllib2 的設定

req = urllib2.Request(link)
proxy = urllib2.ProxyHandler({'http':'http://127.0.0.1:1984'})
opener = urllib2.build_opener(proxy,urllib2.HTTPHandler)
urllib2.install_opener(opener)
req.add_header('User-Agent', URLLIB2_USER_AGENT)
urllib2.urlopen(link)

…
opener.close()

 

1.3.httplib 的設定

conn = httplib.HTTPConnection("127.0.0.1",1984)
conn.request("GET", "http://www.python.org/index.html")
r = conn.getresponse()
print r.status, r.reason

 

1.4.httplib2 的設定

import httplib2
import socks
httplib2.debuglevel=4
h = httplib2.Http(proxy_info = httplib2.ProxyInfo(socks.PROXY_TYPE_HTTP, 'proxy_host', proxy_port))
r,c = h.request(http://bitworking.org/news/)

參見 httplib2 的 Wiki 說明。

socks 庫需要安裝，首頁地址：http://socksipy.sourceforge.net/ ，它不需要安裝，下載原始碼包後直接把 socks.py 複製到 Python's lib/site-packages 目錄即可。

httplib2 則用 easy_install httplib2 安裝即可。

 

1.5.socket代理

參見《python中的socket代理》可知，更底層的socket代理如下所示：

import socks, socket
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "proxy_host", proxy_port)
socket.socket = socks.socksocket
需要 socks 庫。 

1.6.twisted.web.client 的設定

from twisted.internet import reactor
from twisted.web import client
class ProxyClientFactory(client.HTTPClientFactory):
    def setURL(self, url):
        client.HTTPClientFactory.setURL(self, url)
        self.path = url
factory = ProxyClientFactory('http://url_you_want')
reactor.connectTCP('http://proxy_host', proxy_port, factory)
reactor.run()

如果代理需要Basic身分識別驗證，如Proxy 位址是：http://user:pwd@host:port ，那麼就用到proxy-authenticate header了：

import base64
# Proxy credentials
proxyAuth = base64.encodestring('%s:%s' % (proxy_username,proxy_password))
proxy_authHeader = "Basic " + proxyAuth.strip()

factory = ProxyClientFactory('http://url_you_want')

factory.headers={'Proxy-Authenticate': proxy_authHeader}

reactor.connectTCP('http://proxy_host', proxy_port, factory)

只要把Proxy-Authenticate header欄位設定好，前面的httplib/urllib2等如法炮製，可參考 Python2.6的 test_urllib2 示範代碼中的 test_proxy_basic_auth 函數。

2.使用HTTPS Proxy

如果代理是HTTPS的，並需要認證，那麼請參考 python-httpclient 的寫法。

 

2.1.urllib2 的設定

Python 2.X可參考 Recipe 456195 的代碼。或參見 Python2.6的 test_urllib2 示範代碼中的 test_proxy_https 函數。

Python 3k的參見 revision 74204。

 

參考資源：

1、python-httpclient：This project aims to provide an HTTP client library for Python to address some of the shortcomings of httplib and urllib2；

2、Does python twisted framework HttpClient access proxy? ；

3、How do I switch this Proxy to use Proxy-Authentication? ；

4、Python 3.0 SSL over Proxy ；

5、Recipe 456195: urrlib2 opener for SSL proxy (CONNECT method) 。