豆瓣電影top250爬取並儲存在MongoDB裡

標籤：gre   code   分享   建立項目   ring   count   sort   刪除   start   

首先回顧一下MongoDB的基本操作：

 

資料庫，集合，文檔db,show dbs,use 資料庫名,drop 資料庫db.集合名.insert({})db.集合名.update({條件},{$set:{}},{multi:true})db.集合名.remove({條件})db集合名.find({條件},{投影}).limit().skip().sort().count().distinct()資料庫 增加 修改 刪除 查詢mysqlinsert update delete selectredissetsetdelgetmongodbinsertupdateremovefind,aggregate

string
hash
list
set
zset

增加
mysql:insert into 表名(列) values(值)
mongo:db.集合名.insert({})

修改：
mysql:update 表名 set 列=值 where 條件
mongo:db.集合名.update({條件},{值$set},{是否修改多條})

刪除：
mysql:delete from 表名 where ....
mongo:db.集合名.remove({條件},{是否刪除多條})

查詢：
db.stu.find({},{})
比較子，邏輯運算子，$where
limit(),skip(),sort(),count(),distinct()

　

 

　

 

 

 

首先使用xpath提取出要爬取的資訊：我們這個項目需要爬取的資訊有：標題，資訊，評分，簡介

 

第一頁連結：https://movie.douban.com/top250

第二頁連結：https://movie.douban.com/top250?start=25&filter=

第三頁連結：https://movie.douban.com/top250?start=50&filter=

規律：https://movie.douban.com/top250?start=\d+&filter=

 

標題：//a/span[@class="title"][1]

資訊：//div[@class="bd"]/p[1]/text()

評分：//div[@class="star"]/span[2]/text()

簡介：//span[@class="inq"]/text()

 

 

然後使用sscrapy startproject douban   建立項目

              sscrapy genspider dopuban  movie.douban.com

然後依次編寫下面的檔案：

items.pydoubanmovie.pysettings.pypipelines.py

 

 

 

豆瓣電影top250爬取並儲存在MongoDB裡