Selenium + Chrome Diver使用帶使用者名稱密碼認證的HTTP代理的方法

標籤：儲存   檔案   username   parent   drive   outline   ups   參數   認證   

預設情況下，Chrome的--proxy-server="http://ip:port"參數不支援設定使用者名稱和密碼認證。這樣就使得"Selenium + Chrome Driver"無法使用HTTP Basic Authentication的HTTP代理。一種變通的方式就是採用IP地址認證，但在國內網路環境下，大多數使用者都採用ADSL形式網路接入，IP是變化的，也無法採用IP地址綁定認證。因此迫切需要找到一種讓Chrome自動實現HTTP代理使用者名稱密碼認證的方案。

Stackoverflow上有人分享了一種利用Chrome外掛程式實現自動代理使用者密碼認證的方案非常不錯，詳細地址http://stackoverflow.com/questions/9888323/how-to-override-basic-authentication-in-selenium2-with-java-using-chrome-driver。

鯤之鵬的技術人員在該思路的基礎上用Python實現了自動化的Chrome外掛程式建立過程，即根據指定的代理“username:[email protected]:port”自動建立一個Chrome代理外掛程式，然後就可以在"Selenium + Chrome Driver"中通過安裝該外掛程式實現代理配置功能，具體代碼如下:

# coding: utf-8# test.py# 測試"Selenium + Chrome"使用帶使用者名稱密碼認證的代理import osimport reimport timeimport zipfilefrom selenium import webdriver# Chrome代理模板外掛程式(https://github.com/RobinDev/Selenium-Chrome-HTTP-Private-Proxy)目錄CHROME_PROXY_HELPER_DIR = ‘Chrome-proxy-helper‘# 儲存自訂Chrome代理擴充檔案的目錄CUSTOM_CHROME_PROXY_EXTENSIONS_DIR = ‘chrome-proxy-extensions‘def get_chrome_proxy_extension(proxy):    """擷取一個Chrome代理擴充,裡面配置有指定的代理(帶使用者名稱密碼認證)    proxy - 指定的代理,格式: username:[email protected]:port    """    m = re.compile(‘([^:]+):([^\@]+)\@([\d\.]+):(\d+)‘).search(proxy)    if m:        # 提取代理的各項參數        username = m.groups()[0]        password = m.groups()[1]        ip = m.groups()[2]        port = m.groups()[3]        # 建立一個定製Chrome代理擴充(zip檔案)        if not os.path.exists(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR):            os.mkdir(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR)        extension_file_path = os.path.join(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR, ‘{}.zip‘.format(proxy.replace(‘:‘, ‘_‘)))        if not os.path.exists(extension_file_path):            # 擴充檔案不存在，建立            zf = zipfile.ZipFile(extension_file_path, mode=‘w‘)            zf.write(os.path.join(CHROME_PROXY_HELPER_DIR, ‘manifest.json‘), ‘manifest.json‘)            # 替換模板中的代理參數            background_content = open(os.path.join(CHROME_PROXY_HELPER_DIR, ‘background.js‘)).read()            background_content = background_content.replace(‘%proxy_host‘, ip)            background_content = background_content.replace(‘%proxy_port‘, port)            background_content = background_content.replace(‘%username‘, username)            background_content = background_content.replace(‘%password‘, password)            zf.writestr(‘background.js‘, background_content)            zf.close()        return extension_file_path    else:        raise Exception(‘Invalid proxy format. Should be username:[email protected]:port‘)if __name__ == ‘__main__‘:    # 測試    options = webdriver.ChromeOptions()    # 添加一個自訂的代理外掛程式（配置特定的代理，含使用者名稱密碼認證）    options.add_extension(get_chrome_proxy_extension(proxy=‘username:[email protected]:port‘))    driver = webdriver.Chrome(chrome_options=options)    # 訪問一個IP回顯網站，查看代理配置是否生效了    driver.get(‘http://httpbin.org/ip‘)    print driver.page_source    time.sleep(60)    driver.quit()

測試如下所示：

 

Selenium + Chrome Diver使用帶使用者名稱密碼認證的HTTP代理的方法