scrapy工作流程

標籤：員工   response   request   一個   小說   nbsp   ons   res   公司   

整個scrapy流程，我們可以用去超市取貨的過程來比喻一下

兩個採購員小王和小李開著採購車，來到一個大型商場採購公司月餅。到了商場之後，小李（spider）來到商場前台，找到服務台小花（引擎）並對她說，我們需要採購六樓五仁月餅店（url）。小花說好的，我給你填一個採購單（requests）,給小美（調度器）。小美收到後，說請稍等，我給你排上隊了。到了之後，員工小張拿著採購單去店裡把月餅給搬出來（response）交給採購員小李。採購員小李對同事小張（spider_parse），說你拆開之後，把月餅拿出來，給員工禮品盒裡每個人放三份。箱子上有地址，說旁邊的店也賣這種五仁月餅，你根據這個地址給我繼續採購吧。

讓我們用scrapy爬取定點網站上的小說吧：

 

scrapy工作流程