網路爬蟲（一）：配置selenium、pycharm（windows平台）

標籤：介紹   firefox   添加   問題   web   release   cloud   scripts   需要   

最近在學習爬蟲的編寫，使用selenium模組時候，遇到了很多坑，本blog的目的是總結一下遇到的坑和解決辦法，以便後來人少走彎路！

以下介紹均以Python3.x為基準進行，基於windows平台的。

1. Selenium配置

我們在做爬蟲的時候，避免不了要使用selenium模組，但是它不是python的標準庫，所以需要自行安裝。
那麼如何安裝selenium呢，這時候就用到了pip這個工具。

1. 首先我們需要下載pip：

所謂pip,即Python Install Packet(python安裝包)。

• pip

2. 然後我們解壓下載的pip，開啟cmd命令控制台，cd到剛才解壓的目錄：

可以看到，python不是內部命令，執行失敗；這是由於python的可執行檔路徑沒有加入到windows的環境變數裡。

3. 設定環境變數：

按照如下的順序：

電腦 -> 屬性 -> 進階系統設定 -> 進階 -> 環境變數 -> path

將python.exe所在路徑添加到path中(注意，不同路徑間的隔離使用;)

4. 驗證pip是否安裝成功

使用如下命令(使用此命令之前，同樣需要將pip所在的目錄加入到環境變數中,預設的pip路徑為python.exe同目錄檔案夾Scripts下)：

• pip list

5. 安裝selenium模組

採用如下命令：

• pip install selenium

至此，selenium模組算是安裝完成了

6. 配置selenium使其支援不同瀏覽器

開發中，我們一般採用chrome或firefox，因此我以這兩款為準進行講解。
當我們安裝完成selenium模組，準備使用其進行編碼時，突然發現，又有問題出現了：

發生以上原因是因為: 缺少Chrome/Firefox的webdriver驅動。

驅動的：

• Chrome/Firefox webdriver github 地址
  
• 該地址下有所有的IE/Chrome/Firefox webdriver

將下載好的驅動解壓，然後放到與python.exe同一個目錄中；

到此處，你可以試試如下代碼：

# coding = utf-8from time import sleepfrom selenium import webdriverbrowser = webdriver.Firefox()browser.get(r"http://www.baidu.com")browser.find_element_by_id("kw").send_keys("python")browser.find_element_by_id("su").click()sleep(5)browser.quit()

將會開啟一個新的firefox視窗，算是selenium配置成功。

2. Pycharm 2017.3破解與使用

Pycharm是玩python、web開發、爬蟲等等必不可少的工具，其優秀性不必多言，誰用誰知道！

1. 下載並安裝 Pycharm2017

• Pycharm 2017

安裝不用多說了吧！

2. 破解pycharm

進入Pycharm, 點擊Help -> Register

然後，去下載一個破解軟體：

• idea_active_proxy.exe

按照進行設定：

輸入完成後，點擊Active，一切都ok了！

另外，破解的專業網站地址：

• Pycharm 破解教程

3. 註冊完成後，我們將開始我們第一個項目:

# coding = utf-8from time import sleepfrom selenium import webdriverbrowser = webdriver.Firefox()browser.get(r"http://www.baidu.com")browser.find_element_by_id("kw").send_keys("python")browser.find_element_by_id("su").click()sleep(5)browser.quit()

運行過程中，可能會出現如下的錯誤：

雖然我們安裝了selenium，但是Pycharm找不到這個模組(包)，這怎麼回事呢？
原因就是我們使用的python 解譯器的問題(未使用系統預設的解譯器)

可做如下修改：

• File -> Settings -> Project coding -> Project interpreter

選擇所需要的Python解譯器。

如下拉式清單中沒有對應的系統Python解譯器，我們可以自己添加：

設定完以上之後，重新回到代碼區運行上述代碼，一切都ok了！

至此，大功告成！！！

網路爬蟲（一）：配置selenium、pycharm（windows平台）