centos環境的python、scrapy部署

標籤：com   conf   技術   centos   x86_64   libffi   gcc   evel   技術分享   

1 作業系統

Centos 6.5 64bit 或以上版本

2 軟體環境

提示：（1）用什麼軟體；（2）運行環境（3）開發包。

1. Python：Python-2.7.6.tgz
2. Scrapy：Scrapy-1.0.3.tar.gz
3. Selenium：selenium (2.48.0)
4. Phantomjs：phantomjs-1.9.8-linux-x86_64.tar.bz2
5. MySQL-python：MySQL-python-1.2.5.zip
6. MySQL：MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar

3 安裝步驟1. 安裝依賴庫

yum install zlib-devel bzip2-devel ncurses-devel sqlite-devel readline-devel tk-devel mysql-devel gcc libxslt-devel libxml2-devel libffi-devel  openssl-devel python-devel# yum install zlib-devel# yum install bzip2-devel# yum install openssl-devel# yum install ncurses-devel# yum install sqlite-devel# yum install readline-devel# yum install tk-devel# yum install mysql-devel# yum install gcc# yum install make (centos可能已內建，不用安裝)

安裝Scrapy必裝：

# yum install libxslt-devel # yum install libxml2-devel # yum install libffi-devel

2. 升級Python

（：https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz）
Centos6.5系統內建python2.6.6，需要升級到Python2.7
安裝庫檔案：yum install zlib-devel openssl-devel sqlite-devel
下載：wget https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz
解壓：tar zxvf Python-2.7.6.tgz
安裝：

cd Python-2.7.6 ./configure --prefix=/usr/local/pythonmakemake install

建立軟連結：ln -sf /usr/local/python/bin/python2.7 /usr/bin/python
修正yum：修改檔案/usr/bin/yum的第一行（#!/usr/bin/python改為#!/usr/bin/python2.6）

3. 安裝setuptools和pip

使用pip安裝python模組時出現報錯，建議先更新setuptools和pip來排除。

：https://pypi.python.org/packages/source/s/setuptools/setuptools-18.4.tar.gz
解壓後安裝：python setup.py install（或pip install --upgrade setuptools）

：https://pypi.python.org/packages/source/p/pip/pip-7.1.2.tar.gz
解壓後安裝：python setup.py install（或pip install --upgrade pip）

4. 安裝scrapy+selenium+phantomjs

：https://pypi.python.org/packages/source/S/Scrapy/Scrapy-1.0.3.tar.gz
解壓後安裝：python setup.py install（也可使用pip install scrapy命令安裝）
注意：使用pip install scrapy安裝時可能由於網路異常或下載安裝其他依賴庫時報錯，可以單獨下載依賴庫進行安裝。

selenium+phantomjs按需安裝，如果使用了phantomjs類瀏覽器來解析js則安裝：
：https://pypi.python.org/packages/source/s/selenium/selenium-2.48.0.tar.gz
解壓後安裝：python setup.py install（也可使用pip install selenium命令安裝）
：
https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-1.9.8-linux-i686.tar.bz2
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-1.9.8-linux-i686.tar.bz2

tar jxvf phantomjs-1.9.8-linux-i686.tar.bz2mv phantomjs-1.9.8-linux-i686 /usr/local/src/phantomjsln -sf /usr/local/src/phantomjs/bin/phantomjs /usr/local/bin/phantomjschmod a+x phantomjs 

5. 安裝MySQL-python

Python使用MySQL資料庫，需要安裝該模組。
：
https://pypi.python.org/packages/source/M/MySQL-python/MySQL-python-1.2.5.zip

解壓後安裝：python setup.py install

pip install mysql-python

6. 安裝MySQL

：
http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar
解壓後安裝使用rpm命令安裝

rpm MySQL-server-5.6.27-1.linux_glibc2.5.x86_64.rpmrpm MySQL-client-5.6.27-1.linux_glibc2.5.x86_64.rpmrpm MySQL-devel-5.6.27-1.linux_glibc2.5.x86_64.rpmrpm MySQL-shared-5.6.27-1.linux_glibc2.5.x86_64.rpm

4 部署注意點

1、不要忘記修改環境變數

2、安裝MySQL後需要修改預設字元集為utf8

  

centos環境的python、scrapy部署