scrapy串連MongoDB

標籤：div   scrapy   串連   資料庫名   host   pip   項目   item   db_name   

Scrapy中串連MongoDB所需要做的工作如下：

1.settings中需要設定的部分:

# 啟動管道組件ITEM_PIPELINES = {    ‘QianChengWuYu.mongoDBPiplelines.MongoDBPipline‘: 300,}

# MonDB的串連參數MONGODB_URI = ‘mongodb://localhost:27017‘MONGODB_DB_NAME = ‘scrapy_db‘

     （1）其中ITEM_PIPELINES中設定的是QianChengWuyu項目中的管道檔案mongoDBPiplelines中的MongoDBPipline類，優先順序是300

     （2）其中MONGODB_URI為指定登入的IP 這裡是localhost,連接埠為27017，MONGODB_DB_NAME為MongoDB中資料庫名稱

 

2.scrapy中piplines檔案如下：

 

"""該類用於mongdb資料庫的資料插入"""from pymongo import MongoClientfrom scrapy import Itemclass MongoDBPipline(object):    def open_spider(self, spider):        """        該方法用於串連資料庫        """        db_uri = spider.settings.get(‘MONGODB_URI‘, ‘mongodb://localhost:27017‘)        db_name = spider.settings.get(‘MONGODB_DB_NAME‘, ‘scrapy_default‘)        self.db_client = MongoClient(‘mongodb://localhost:27017‘)        self.db = self.db_client[db_name]    def close_spider(self, spider):        """        該方法用於關閉資料庫        """        self.db_client.close()    def process_item(self, item, spider):        """        該方法用於插入資料        """        self.insert_db(item)        return item    def insert_db(self, item):        if isinstance(item, Item):            item = dict(item)     # 將一項資料轉化為字典格式        self.db.books.insert_one(item)  # 向集合books中插入資料

 

scrapy串連MongoDB