Python的虛擬機器安裝已經如何配置Scrapy for Mac

標籤：就是   detail   crawl   開啟   tps   rap   命令   dir   os.path   

 

時間：2018年2月21日

因為時間問題，以下筆記就粗略記錄。僅作為個人筆記為用

安裝virtualenv和virtualenvwrapper

如何安裝的細節下面這篇也有介紹，包括如何使用切換虛擬機器也有介紹

http://blog.csdn.net/xshalk/article/details/47301339

 

其中如何找 .bash_profile檔案

　　在Finder用快速鍵command+shift+G輸入開啟目錄~/
　　再快速鍵：shift+comman+. 顯示隱藏檔案即可找到這個檔案
　　修改儲存之後，再在終端命令列運行 source ~/.bash_profile，就會執行這個檔案

 

後來在安裝過程遇到一些問題，再經過百度，下面這篇可以解決python路徑的問題

https://www.jianshu.com/p/2999e258cbf9

 

另外，建立不需要任何包的虛擬環境 mkvirtualenv --no-site-packages venv

 

接著步驟就是：workon虛擬環境，pip3 install 一系列包，

然後cd進入到需要建立項目的目錄下建立項目，

再cd進入項目根目錄建立一個爬蟲的py檔案，

注意，這裡下面有個小錯誤：scrapy genspider name url，這裡的url不需要“http://”:

然後就是用pycharm來open這個項目，並且要記得重新選擇虛擬環境配置，直接就選前面workon選中的虛擬環境。

 

 

然後是調試技巧，在scrapy.cfg同級目錄下建立main.py檔案

然後代碼如下：

 1 # 通過這個檔案來調試，可以提高開發效率 2  3 from scrapy.cmdline import execute 4  5 import sys 6 import os 7  8 ‘‘‘ 9 設定工程的目錄10 os.path.abspath(__file__) 擷取當前檔案的目錄11 12 os.path.dirname(file的全路徑) 擷取當前file的父目錄 13 14 列印測試15 print(os.path.abspath(__file__))16 print(os.path.dirname(os.path.abspath(__file__)))17 18 ‘‘‘19 20 # print(os.path.abspath(__file__))21 # print(os.path.dirname(os.path.abspath(__file__)))22 sys.path.append(os.path.dirname(os.path.abspath(__file__)))23 24 25 # path = os.path.dirname(os.path.abspath(__file__))+"/ArticleSpider"26 # sys.path.append(path)27 # print(sys.path)28 29 ‘‘‘執行命令的方法 —— 查詢股票名字代碼清單‘‘‘30 # execute("scrapy crawl quote_eastmoney_com".split())31 32 ‘‘‘執行命令的方法 —— 查詢股票名字代碼清單‘‘‘33 execute("scrapy crawl data_eastmoney_com_hsgtcg".split())

 

Python的虛擬機器安裝已經如何配置Scrapy for Mac