基於Python的開源爬蟲軟體

標籤：

一、安裝Scrapy

匯入GPG密鑰

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

添加軟體源

echo ‘deb http://archive.scrapy.org/ubuntu scrapy main‘ | sudo tee /etc/apt/sources.list.d/scrapy.list

更新包列表並安裝scrapy

sudo apt-get update && sudo apt-get install scrapy-0.22

二、Scrapy的組成

三、快速開始Scrapy

運行Scrapy後，只需要重寫一個download就可以了。

這裡是別人的一個抓取招聘網站資訊的例子。但我運行時，出現很多錯誤，缺少misc目錄，而且piplines的配置沒有寫出來。

諸君稍候，等我試一下，全部分享給大家。

基於Python的開源爬蟲軟體