怎麼在32位windows系統上搭建爬蟲架構scrapy？

標籤：

禁止轉載：

　　自學python，然後搭建爬蟲架構scrapy。費了我一上午的心血。終於搭建成功，以防以後忘記搭建流程，特此撰寫此貼，開寫

***************************************************************************************************************

首先安裝python,我安裝的是python2.7.12，安裝在F:\python2.7.12,資源自行下載。由於在安裝python的時候，會自動安裝pip這個python管理工具，不要管pip的安裝.你只要一步步安裝就可以了。

 

接下來就是在cmd中能運行python，所以要進行環境變數的配置：

在path路徑中加上：

　　";F:\python2.7.12;F:\python2.7.12\Scripts\"

這是我的path路徑：C:\ProgramData\Oracle\Java\javapath;

%SystemRoot%\system32;

%SystemRoot%;

%SystemRoot%\System32\Wbem;

%SYSTEMROOT%\System32\WindowsPowerShell\v1.0\;

%JAVA_HOME%\bin;

%CATALINA_HOME%\lib;

E:\mysql-5.6.24-win32\bin;

F:\mongodb2.6.9\bin\;

F:\python2.7.12;

F:\python2.7.12\Scripts\（一定要配置好Scripts）

 

可以根據自己的安裝目錄進行配置，不要盲目效仿。配置好以後，開啟cmd視窗,輸入python，然後就可以獲得python的版本號碼，說明安裝成功

那麼怎麼知道python管理工具pip是否裝好，可i以在cmd中輸入pip,可以運行說明成功，這一部分可以參考網上很多教程

*********************************************************************************************************

接下來就是爬蟲架構scrapy的安裝：

1、安裝setuptools

開啟，cmd視窗，輸入pip檢查pip是否安裝成功，成功後，然後輸入：

pip install setuptools

觀察cmd視窗,如果出現Successfully installed setuptools說明安裝成功。

2、安裝lxml

本來以為輸入下面這個命令，就能順利安裝成功但是出現了問題：

pip install lxml

這一步，耗費了我一個多小時，安裝出現了問題，如：

 fatal error: ‘libxml/xmlversion.h‘ file not found

在網上各種找原因，有大神是說沒安裝libxml2-devel and libxslt-devel，和沒有安裝 libxml2和 libxslt檔案。其實報錯原因中也說明了沒有安裝好 libxml2

各種解決方案，但是找了很久，試了很多種方法，最終我就參考了

http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html　　 　　  

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml（很多python依賴的庫資源下載）

http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html

最後解決了問題，解決步驟如下：

　　1）、首先安裝wheel，確定安裝成功：

pip install wheel

　　2)、下載依賴庫，可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下載

• lxml-3.6.4-cp27-cp27m-win32.whl（python2.7版本,適用於windows32位系統）
• lxml-3.6.4-cp27-cp27m-win_amd64.whl（python2.7版本,適用於windows64位系統）

　　然後，把下載好的依賴檔案放在python的安裝包中，我的是放在F：\python2.7.12中

　　3)、開始安裝lxml

pip install F:\python2.7.12\lxml-3.6.4-cp27-cp27m-win32.whl

　　然後就安裝成功了

3、安裝zope.interface

pip install zope.interface

這一步沒有遇到問題

4、安裝Twisted

安裝Twisted出現了問題:參考文檔python2.7安裝Twisted報Microsoft Visual C++9.0 required然後解決了

pip install Twisted

5、安裝pyOpenSSL

 

pip install pyOpenSSL

 

6、安裝win32py

這一部卡住了，原來http://www.cnblogs.com/pang1567/p/4168768.html這個文章，沒有win32py這個檔案，其實是安裝pypiwin32

pip install pypiwin32

 

7、安裝Scrapy

　　pip install Scrapy

終於到了激動人心的時候了！安裝了那麼多小組件之後終於輪到主角登場。然後就顯示安裝成功了

直接在cmd中輸入Scrapy斷行符號即可。大功告成了啊。so happy

　　

 

 

參考貼：

http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html

http://www.cnblogs.com/pang1567/p/4168768.html

http://stackoverflow.com/questions/26669972/install-pywin32-with-pip-in-windows-7-does-not-work-in-python-3-4-2

python2.7安裝Twisted報Microsoft Visual C++9.0 required

 

 

怎麼在32位windows系統上搭建爬蟲架構scrapy？