Python爬蟲——Scrapy架構安裝

標籤：Opens   14.   gbk   spl   pyopenssl   sele   解決辦法   速度   err   

在編寫python爬蟲時，我們用requests和Selenium等庫便可完成大多數的需求，但當資料量過大或者對爬取速度有一定要求時，使用架構來編寫的優勢也就得以體現。在架構協助下，不僅程式架構會清晰許多，而且爬取效率也會增加，所以爬蟲架構是編寫爬蟲的一種不錯的選擇。

對於python爬蟲架構，目前較為熱的是Scrapy，其是一個專門爬取web結構性資料的應用程式框架。Scrapy是一個強大的架構，所依賴的庫也較多，比如有lxml，pyOpenSSL和Twisted等，這些庫在不同的平台下要求也不一樣，雖然如此，但實際上安裝還是較簡單的，But有時安裝過程中error卻不少，下面就介紹安裝方法及錯誤處理辦法。

筆者環境：Win10 + python3.6.5安裝方法

雖然前面提到過Scrapy依賴的庫較多，但安裝時可以直接使用pip命令進行安裝，同時一些依賴的庫也會自動安裝：

pip install Scrapy

驗證安裝

安裝之後，在命令列直接輸入scrapy，若輸出如下類似資訊則說明安裝成功

錯誤處理（部分，在此列出筆者安裝過程中遇到的錯誤）①error: Microsoft Visual C++ 14.0 is required

這個error很明顯，按提示安裝Microsoft Visual C++ 就行了，筆者後在官網上下載並安裝Visual Studio 2017得以解決此問題

②UnicodeDecodeError:’utf-8’ codec can’t decode byte 0xce in posiyion 98: invalid continuation byte

這一錯誤是編碼問題，開始我也是一臉茫然，查閱資料後發現了不少的解決辦法，其實錯誤原因很簡單，因為windows中編碼格式為‘gbk’,所以安裝中’utf-8’不行（錯誤提示也說明了不能編碼），那這要怎麼解決呢？

首先，根據錯誤流確定出錯檔案位置：C:\Users\Littl\AppData\Local\Programs\Python\Python36\Lib\site-packages\pip\compat，開啟檔案__init__.py，找到73行附近，將’utf-8’全部改為’gb2312’,儲存再次安裝即可

以上為筆者安裝過程中遇到的問題，在排錯時也發現其實對於不少不明覺厲的錯誤，慢慢理解錯誤提示和流都可以很好地解決，如果還有其他問題的話可以根據錯誤提示查閱下相關網上資料，也歡迎留言學習交流。

Python爬蟲——Scrapy架構安裝