Python遷移MySQL資料到MongoDB指令碼

Python遷移MySQL資料到MongoDB指令碼

MongoDB是一個文檔資料庫，在儲存小檔案方面存在天然優勢。隨著業務求的變化，需要將線上MySQL資料庫中的行記錄，匯入到MongoDB中文檔記錄。

一、情境：線上MySQL資料庫某表遷移到MongoDB，欄位無變化。

二、Python模組：
使用Python的torndb,pymongo和time模組。
*注釋：首先安裝setup.py,pip,MySQLdb
執行如下命令即可：
pip install torndb
pip install pymongo

三、指令碼內容如下：
[root ~]#cat nmytomongo.py

#!/usr/bin/env python
#fielName: mytomongo.py
#Author:xkops
#coding: utf-8
import torndb,pymongo,time
# connect to mysql database
mysql = torndb.Connection(host='127.0.0.1', database='database', user='username', password='password')
#connect to mongodb and obtain total lines in mysql
mongo = pymongo.MongoClient('mongodb://ip').database
mongo.authenticate('username',password='password')
countlines = mysql.query('SELECT max(table_field) FROM table_name')
count = countlines[0]['max(table_field)']

#count = 300
print count

i = 0
j = 100
start_time = time.time()
#select from mysql to insert mongodb by 100 lines.
for i in range(0,count,100):
    #print a,b
    #print i
    #print 'SELECT * FROM quiz_submission where quiz_submission_id > %d and  quiz_submission_id <= %d' %(i,j)
    submission = mysql.query('SELECT * FROM table_name where table_field > %d and  table_field <= %d' %(i,j))
    #print submission
    if submission:
        #collection_name like mysql table_name
        mongo.collection_name.insert_many(submission)
    else:
        i +=100
        j +=100
        continue
    i +=100
    j +=100
end_time = time.time()
deltatime = end_time - start_time
totalhour = int(deltatime / 3600)
totalminute = int((deltatime - totalhour * 3600) / 60)
totalsecond = int(deltatime - totalhour * 3600 - totalminute * 60)
#print migrate data total time consuming.
print "Data Migrate Finished,Total Time Consuming: %d Hour %d Minute %d Seconds" %(totalhour,totalminute,totalsecond)

*注釋：按照自己的需求更改上述代碼中的資料庫地址，使用者，密碼，庫名，表名以及欄位名等。

四、執行遷移指令碼:
[root ~]#python nmytomongo.py &> /tmp/migratelog.txt &
指令碼執行完成後查看/tmp/migratelog.txt資料移轉消耗的時間。

更多MongoDB相關教程見以下內容：

CentOS 編譯安裝 MongoDB與mongoDB的php擴充

CentOS 6 使用 yum 安裝MongoDB及伺服器端配置

Ubuntu 13.04下安裝MongoDB2.4.3

MongoDB入門必讀(概念與實戰並重)

Ubunu 14.04下MongoDB的安裝指南

《MongoDB 權威指南》(MongoDB: The Definitive Guide)英文文字版[PDF]

Nagios監控MongoDB分區叢集服務實戰

基於CentOS 6.5作業系統搭建MongoDB服務

MongoDB 的詳細介紹：請點這裡
MongoDB 的：請點這裡

本文永久更新連結地址：