第三百二十四節，web爬蟲，scrapy模組介紹與使用

標籤：資訊   cmd   ons   amazon   系統   star   模型   目的   資料流   

第三百二十四節，web爬蟲，scrapy模組介紹與使用

Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用程式框架。 其可以應用在資料採礦，資訊處理或儲存曆史資料等一系列的程式中。
其最初是為了頁面抓取 (更確切來說, 網路抓取 )所設計的， 也可以應用在擷取API所返回的資料(例如 Amazon Associates Web Services ) 或者通用的網路爬蟲。Scrapy用途廣泛，可以用於資料採礦、監測和自動化測試。

Scrapy 使用了 Twisted非同步網路程式庫來處理網路通訊。整體架構大致如下

 

Scrapy主要包括了以下組件：

• 引擎(Scrapy)
  用來處理整個系統的資料流處理, 觸發事務(架構核心)
• 調度器(Scheduler)
  用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一個URL（抓取網頁的網址或者說是連結）的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址
• 下載器(Downloader)
  用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是建立在twisted這個高效的非同步模型上的)
• 爬蟲(Spiders)
  爬蟲是主要幹活的, 用於從特定的網頁中提取自己需要的資訊, 即所謂的實體(Item)。使用者也可以從中提取出連結,讓Scrapy繼續抓取下一個頁面
• 項目管道(Pipeline)
  負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的資訊。當頁面被爬蟲解析後，將被發送到項目管道，並經過幾個特定的次序處理資料。
• 下載器中介軟體(Downloader Middlewares)
  位於Scrapy引擎和下載器之間的架構，主要是處理Scrapy引擎與下載器之間的請求及響應。
• 爬蟲中介軟體(Spider Middlewares)
  介於Scrapy引擎和爬蟲之間的架構，主要工作是處理蜘蛛的響應輸入和請求輸出。
• 調度中介軟體(Scheduler Middewares)
  介於Scrapy引擎和調度之間的中介軟體，從Scrapy引擎發送到調度的請求和響應。

 

Scrapy運行流程大概如下：

1. 引擎從調度器中取出一個連結(URL)用於接下來的抓取
2. 引擎把URL封裝成一個請求(Request)傳給下載器
3. 下載器把資源下載下來，並封裝成應答包(Response)
4. 爬蟲解析Response
5. 解析出實體（Item）,則交給實體管道進行進一步的處理
6. 解析出的是連結（URL）,則把URL交給調度器等待抓取

 

建立Scrapy架構項目

Scrapy架構項目是有python安裝目錄裡的Scripts檔案夾裡scrapy.exe檔案建立的，所以python安裝目錄下的Scripts檔案夾要配置到系統內容變數裡，才能運行命令產生項目

建立項目

首先運行cmd終端，然後cd 進入要建立項目的目錄，如：cd H:\py\14

進入要建立項目的目錄後執行命令 scrapy startproject 項目名稱

scrapy startproject pach1

項目建立成功

 

第三百二十四節，web爬蟲，scrapy模組介紹與使用