背景介紹
隨著業務的發展、需求的變化,促使我們追求使用不同類型的資料庫,充分發揮其各自特性。如果決定採用新類型的資料庫,就需要將既有的資料移轉到新的資料庫中。在這類需求中,將SQL Server中的資料匯入到MongoDB 中顯得尤為突出。
面對這種需求,大家優先想到的就是百度尋找第三方工具,可惜截止目前,還沒有一款公認比較滿意的資料移轉工具。百度不到,大家可能就要回頭自己開發了。如此,更是花費不少人力物力和寶貴的精力。甚至,由於沒有理想的遷移工具,導致項目最佳化一再延遲。
其實,你原本不必如此!因為,還有一個工具,並且效能還傲視群雄。
那就是充分挖掘資料庫自身的匯出匯入功能。
原理
MongoDB資料庫 可以通過mongoexport/mongoimport命令進行資料的匯出匯入,並且支援檔案CSV格式;
SQL Server 資料庫 一樣可以進行匯出匯入【“任務”—>匯出資料/匯入資料】,其資料一樣可以儲存到CSV檔案中。
那麼,我們是不是可以藉助 CSV檔案,在這兩種資料庫間進行資料移轉呢?
答案是肯定的!答案是肯定的!答案是肯定的!
此外,資料直接匯出匯入,性要比其它工具快一個數量級。
即:通過SQL Server 和 MongoDB 本身內建的 匯入匯出功能 ,可以實現資料的快速遷移。
將SQL Server中的資料匯入到MongoDB中
step 1 選擇指定資料庫,進行【匯出資料】
step 2 選擇匯出的資料來源資訊
因在SQL Server 服務器上執行,伺服器名稱可選擇本地(. 即可),身份認證可以使用Window身分識別驗證(如SQL Server 禁用了此window登入方式,那麼就要使用SQL Server 身分識別驗證),然後,選擇資料庫。
step 3 選擇匯出目標(此為關鍵步驟)
目標一定要選擇 【一般檔案目標】
為 匯出檔案命名 選擇 【瀏覽】,在開啟的 介面上 選擇匯出檔案類型【CSV 檔案(*.csv)】
例如,檔案命名為SQLToMongoDB01
點擊 【下一步】
Step 4 指定表複製 或 查詢
可以指定從資料來源複製一個或多個表和視圖,還是通過 T_SQL 陳述式從資料來源中複製查詢結(可以指定選擇列 或對列二次加工後的資料)。
Step 5 配置一般檔案目標
在這一步選擇要匯出的表或視圖
如果想對 field 欄位 進行修改,可以選擇 【編輯映射】
對想要修改的列命進行重新命名,例如 將SQL Server 中的 AreaCode 命名 而在MongoDB中命名為 AreaCodeMongoDB
然後 點擊 【下一步】
Step 6 儲存並運行包
直接點擊 【下一步】
Step 7 完成該嚮導
直接點擊 【完成】
資料匯出成功
匯出資料773838 筆資料。
Step 8 將產生的檔案Copy至 MongoDB 伺服器上
Step 9 在mongoDB 伺服器上 執行 mongoimport 命令, 將從 SQL Server 匯出的csv 資料匯入到MongoDB中。
執行命令 為
/data/mongodb/mongobin344/bin/mongoimport --file /data/mongodb_back/SQLToMongoDB01.csv -h 172.X.X.XXX --port 連接埠 --type csv --headerline -u 使用者名稱 -p '密碼' -d testdba0906 --authenticationDatabase 認證資料庫 -c SQLToMongoDB01
執行成功,匯入資料 773838 個文檔。並且可以看到很快,不到15S。
此部分 測實驗證OK!
將 MongoDB中的資料匯入的SQL Server 中
Step 1 使用 mongoexport 將MongoDB資料庫中的資料匯出
執行命令
/data/mongodb/mongobin344/bin/mongoexport -h 172.X.X.X --port 連接埠 --type csv -u 使用者名稱 -p '密碼' -d testdba0906 --authenticationDatabase 認證資料庫 -c SQLToMongoDB01 -f 欄位1,欄位2,欄位3,欄位4,欄位5 -o /data/mongodb_back/MongoDBToSQL.csv
Step 2 將從MongoDB中匯出的CSV 檔案上傳到 SQL Server 服務器上。
Step 3 將CSV 檔案匯入到SQL Server中
(此過程,不是本文章的重點,所以不再詳細說明,只指出關鍵步驟。)
選擇資料來源,請選擇【一般檔案源】
選擇源表和源視圖 【可以通過編輯映射,修改列名,修改欄位類型,修改欄位長度】
step 4 資料匯出成功
檢查資料量和源表資料一致。
此部分 測實驗證OK!
注意事項
注意1: 因為 mongoimport 匯入的檔案預設是json 格式,所以csv 檔案,一定要在命令中指明 --type csv
否則,就無法識別檔案中的資料。報錯資訊:
Failed: error processing document #1: invalid character 'X' looking for beginning of value
(X代表檔案中的第一個字元)
注意 2 : mongoimport 匯入的csv檔案,一定要執行 –headerline 參數,指明不匯入第一行。csv格式的檔案第一行為列名。
否則 ,提示一定要指明欄位屬性,報錯資訊:
error validating settings: must specify --fields, --fieldFile or --headerline to import this file type
注意 3 :CSV 檔案的列資料中不可以包含“” (中文雙引號)。
否則,當匯入此行資料時,提示錯誤資訊
Failed: read error on entry #XXXX: line XXXX, column 110: bare " in non-quoted-field
注意 4: 如果資料中含有中文,需檢查匯入後是否變成了亂碼。
為防止亂碼,需要將csv文檔改成utf-8的編碼方式即可。例如使用edit with notepad ++ 編輯器開啟檔案,另存新檔utf-8就可以了。
注意 5:MongoDB匯出CSV格式一定要通過 –f 參數 指明欄位名,負責報錯:
Failed: CSV mode requires a field list。
注意 6:MongoDB DB 資料模式自由,並且文檔可以內嵌,所以將MongoDB中的資料匯入到SQL Server 比較困難,特別是含有中文語句時。
注意 7 : SQL Server 匯出資料時,欄位資料中不可以包含nchar(9)、nchar(32)、nchar(160) 等特殊字元,否則,在匯出資料產生csv檔案時報錯。
本文著作權歸作者所有,未經作者同意不得,謝謝配合!!!