python爬蟲天貓商品資料

採用selenium類比瀏覽器抓取天貓紅酒銷售和價格資料，主要解決了以下幾個問題 1、採用selenium時爬蟲效率問題，這裡禁止了載入圖片和載入javascript，代碼如下

# 擷取瀏覽器驅動(禁止載入圖片和javascript)options = webdriver.ChromeOptions()pref = {'profile.default_content_setting_values': {'images': 2, 'javascript': 2}}options.add_experimental_option('prefs', pref)browser = webdriver.Chrome(chrome_options=options)browser_wait = WebDriverWait(browser, 10)

2、BeautifulSoup解析網頁  BeautifulSoup解析網頁代碼簡單，運用find()和find_all()能基本解決部分問題，但是解析效率不夠。
3、寫入本機資料庫  這裡採用自己封裝的mysqlhelper類，直接寫入本地mysql資料庫，效率一般 未解決的問題： 1、未解決商品詳情頁的評論資料抓取，未解決響應碼302 2、自己搭建的免費代理池品質不高，反扒效率不好 3、寫入mysql效率很差，原因暫時未知 4、附上自己的github連結：https://github.com/PandaHero/KNN-Algorithm/tree/master/tmall