第一、檢查和更新python環境
預設Macbook是帶有python2.7版本的,所以我們認為不夠新,可以到官方網站找到MAC系統的安裝包,然後進行重新安裝。
| 代碼如下 |
複製代碼 |
官方下載網站:https://www.python.org/download
|
因為考慮到一些環境的相容支援,所以我不打算升級到python3.4版本,還是用2.7版本。
第二、安裝pip工具包
這個必須安裝,是基於python的管理工具包。
| 代碼如下 |
複製代碼 |
wget https://bootstrap.pypa.io/get-pip.py
|
用wget擷取安裝包,如果我們無法執行wget命令,則需要先查閱"Macbook系統內容安裝wget的2個方法 - 傳統包及Homebrew安裝"把wget安裝。
| 代碼如下 |
複製代碼 |
sudo python get-pip.py
|
然後執行安裝命令。
第三、修改pip工具包源
因為pip包需要用到一些源,我們需要將換成國內的源,這樣安裝的時候才快一些。
| 代碼如下 |
複製代碼 |
cd ~
mkdir .pip
touch pip.conf
|
用編輯器將pip.conf開啟,然後丟上下面的指令碼
| 代碼如下 |
複製代碼 |
[global]
index-url = http://pypi.v2ex.com/simple
|
這裡採用v2ex的地址。
第四、Pillow/PIL模組的安裝
如果以後需要處理圖片,還是也一起把Pillow/PIL模組安裝。
| 代碼如下 |
複製代碼 |
sudo pip install -U Pillow
|
第五、安裝Scrapy爬蟲架構
| 代碼如下 |
複製代碼 |
sudo pip install Scrapy
|
爬蟲架構安裝直接輸入就可以,記得要輸入sudo,執行半天最後是一堆紅色的錯誤提示指令碼。
總結,到目前為止,我們就可以在Macbook中進行爬蟲的演練,因為在本地演練方便,直接到VPS上操作檔案效率不高,所以無論是MAC還是WINDOWS,都在本地安裝和調試。