python scrapy ip代理的設定，pythonscrapy

python scrapy ip代理的設定，pythonscrapy

在scrapy項目中建一個與spider同級的python目錄並在下面添加一個py檔案內容為

# encoding: utf-8
import base64
proxyServer = Proxy 伺服器地址 ##我的是‘http://proxy.abuyun.com:9010’

# 代理隧道驗證資訊  這個是在那個網站上申請的
proxyUser = 使用者名稱
proxyPass = 密碼
proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass)

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta["proxy"] = proxyServer
        request.headers["Proxy-Authorization"] = proxyAuth

在setting檔案中添加

DOWNLOADER_MIDDLEWARES = {
    '項目名.spider同級檔案名稱.檔案名稱.ProxyMiddleware': 543,
}

代碼地址
https://github.com/sea1234/myipAgent