第三百二十三節，web爬蟲，scrapy模組以及相關相依模組安裝

標籤：介面   round   依賴   web相關   密碼   解碼器   架構   asn1c   32位   

第三百二十三節，web爬蟲，scrapy模組以及相關相依模組安裝

當前環境python3.5 ，windows10系統

 

Linux系統安裝

線上安裝，會自動安裝scrapy模組以及相關相依模組

pip install Scrapy

手動源碼安裝，比較麻煩要自己手動安裝scrapy模組以及相依模組

安裝以下模組

1、lxml-3.8.0.tar.gz （XML處理庫）

2、Twisted-17.5.0.tar.bz2 （用Python編寫的非同步網路架構）

3、Scrapy-1.4.0.tar.gz （進階web爬行和web抓取架構）

4、pyOpenSSL-17.2.0.tar.gz （OpenSSL庫）

5、queuelib-1.4.2.tar.gz （Queuelib是用於Python的持久(基於磁碟的)隊列的集合）

6、w3lib-1.17.0.tar.gz （與web相關的函數的Python庫）

7、cryptography-2.0.tar.gz （密碼學是一種包）

8、pyasn1-0.2.3.tar.gz （ASN類型和轉碼器）

9、pyasn1-modules-0.0.9.tar.gz （ASN的集合。基於協議模組）

10、cffi-1.10.0.tar.gz （用於Python調用C代碼的外部函數介面）

11、asn1crypto-0.22.0.tar.gz （快速的ASN一個解析器和序列化器）

12、idna-2.5.tar.gz （應用程式中的國際化網域名稱(IDNA)）

13、pycparser-2.18.tar.gz （C解析器在Python中）

 

windows系統安裝

windows安裝，首先要安裝pywin32，根據自己的系統來安裝32位還是64位

pywin32-221.win32-py3.5.exe

pywin32-221.win-amd64-py3.5.exe

線上安裝

pip install Scrapy

 

手動源碼安裝，比較麻煩要自己手動安裝scrapy模組以及相依模組

安裝以下模組

1、lxml-3.8.0.tar.gz （XML處理庫）

2、Twisted-17.5.0.tar.bz2 （用Python編寫的非同步網路架構）

3、Scrapy-1.4.0.tar.gz （進階web爬行和web抓取架構）

4、pyOpenSSL-17.2.0.tar.gz （OpenSSL庫）

5、queuelib-1.4.2.tar.gz （Queuelib是用於Python的持久(基於磁碟的)隊列的集合）

6、w3lib-1.17.0.tar.gz （與web相關的函數的Python庫）

7、cryptography-2.0.tar.gz （密碼學是一種包）

8、pyasn1-0.2.3.tar.gz （ASN類型和轉碼器）

9、pyasn1-modules-0.0.9.tar.gz （ASN的集合。基於協議模組）

10、cffi-1.10.0.tar.gz （用於Python調用C代碼的外部函數介面）

11、asn1crypto-0.22.0.tar.gz （快速的ASN一個解析器和序列化器）

12、idna-2.5.tar.gz （應用程式中的國際化網域名稱(IDNA)）

13、pycparser-2.18.tar.gz （C解析器在Python中）

 

測試是否安裝成功

在cmd終端，運行python

然後運行：import scrapy  ，沒有提示錯誤說明安裝成功

 

第三百二十三節，web爬蟲，scrapy模組以及相關相依模組安裝