scrapy項目 在linux下的部署

首先，需要在linux下進行安裝scrapy,假如linux系統內建的python是2.4版，那麼就需要自己安裝python2.6，假如是用的比較“先進" 的linux，那麼裡面內建的就是python2.6,那麼是不是就符合我們對於python的要求了呢？不是，系統內建的python缺少python-dev, 然後安裝setuptool工具，然後使用easy_install -U Scrapy來安裝scrapy,假如還有其他需求可以自己裝。那麼在自己機器上使用scrapy開發完項目後，需要注意到在上傳到伺服器後，需要配置環境變數，即將當前這個項目也加入上可執行檔環境變數中，那麼加環境變數有幾種方法,比如可以寫個bash/shell指令碼，使用export。也可以作為一個python程式員，直接在setting檔案中加入

import os
import time
import sys
sys.path.append('%s' % os.getcwd())
BOT_NAME = 'crawl'
BOT_VERSION = '1.0'

SPIDER_MODULES = ['crawl.spiders']
NEWSPIDER_MODULE = 'crawl.spiders'
DEFAULT_ITEM_CLASS = 'crawl.items.CrawlItem'
USER_AGENT = '%s/%s' % (BOT_NAME, BOT_VERSION)

ITEM_PIPELINES = ['crawl.pipelines.CrawlPipeline']
DEPTH_LIMIT = 5

DOWNLOAD_DELAY = 3

LOG_LEVEL  = 'ERROR'