關於 MongoDB 與 SQL Server 通過本身內建工具實現資料快速遷移 及 注意事項 的探究

背景介紹

隨著業務的發展、需求的變化，促使我們追求使用不同類型的資料庫，充分發揮其各自特性。如果決定採用新類型的資料庫，就需要將既有的資料移轉到新的資料庫中。在這類需求中，將SQL Server中的資料匯入到MongoDB 中顯得尤為突出。

面對這種需求，大家優先想到的就是百度尋找第三方工具，可惜截止目前，還沒有一款公認比較滿意的資料移轉工具。百度不到，大家可能就要回頭自己開發了。如此，更是花費不少人力物力和寶貴的精力。甚至，由於沒有理想的遷移工具，導致項目最佳化一再延遲。

其實，你原本不必如此！因為，還有一個工具，並且效能還傲視群雄。

那就是充分挖掘資料庫自身的匯出匯入功能。

 

原理

 

MongoDB資料庫 可以通過mongoexport/mongoimport命令進行資料的匯出匯入，並且支援檔案CSV格式；

SQL Server 資料庫 一樣可以進行匯出匯入【“任務”—>匯出資料/匯入資料】，其資料一樣可以儲存到CSV檔案中。

 

那麼，我們是不是可以藉助 CSV檔案，在這兩種資料庫間進行資料移轉呢？

答案是肯定的！答案是肯定的！答案是肯定的！

此外，資料直接匯出匯入，性要比其它工具快一個數量級。

即：通過SQL Server 和 MongoDB 本身內建的 匯入匯出功能 ，可以實現資料的快速遷移。

 

 將SQL Server中的資料匯入到MongoDB中

 

step 1 選擇指定資料庫，進行【匯出資料】

step 2  選擇匯出的資料來源資訊

因在SQL Server 服務器上執行，伺服器名稱可選擇本地（. 即可），身份認證可以使用Window身分識別驗證（如SQL Server 禁用了此window登入方式，那麼就要使用SQL Server 身分識別驗證），然後，選擇資料庫。

 

step 3 選擇匯出目標（此為關鍵步驟）

目標一定要選擇 【一般檔案目標】

 

為 匯出檔案命名 選擇 【瀏覽】，在開啟的 介面上 選擇匯出檔案類型【CSV 檔案（*.csv）】

例如，檔案命名為SQLToMongoDB01

 

點擊 【下一步】

Step 4  指定表複製 或 查詢

可以指定從資料來源複製一個或多個表和視圖，還是通過 T_SQL 陳述式從資料來源中複製查詢結（可以指定選擇列 或對列二次加工後的資料）。

Step 5  配置一般檔案目標

在這一步選擇要匯出的表或視圖

如果想對 field 欄位 進行修改，可以選擇 【編輯映射】

對想要修改的列命進行重新命名，例如 將SQL Server 中的 AreaCode 命名 而在MongoDB中命名為 AreaCodeMongoDB

然後 點擊 【下一步】

Step 6 儲存並運行包

直接點擊 【下一步】

 

Step 7 完成該嚮導

直接點擊 【完成】

 

資料匯出成功

匯出資料773838 筆資料。

 

Step 8 將產生的檔案Copy至 MongoDB 伺服器上

 

Step 9 在mongoDB 伺服器上 執行 mongoimport 命令， 將從 SQL Server 匯出的csv 資料匯入到MongoDB中。

執行命令 為

/data/mongodb/mongobin344/bin/mongoimport --file /data/mongodb_back/SQLToMongoDB01.csv  -h 172.X.X.XXX --port 連接埠  --type csv --headerline -u 使用者名稱 -p '密碼' -d testdba0906 --authenticationDatabase 認證資料庫 -c SQLToMongoDB01

執行成功，匯入資料 773838 個文檔。並且可以看到很快，不到15S。

 此部分 測實驗證OK！

 

將 MongoDB中的資料匯入的SQL Server 中

 

Step 1 使用 mongoexport 將MongoDB資料庫中的資料匯出

執行命令

/data/mongodb/mongobin344/bin/mongoexport   -h 172.X.X.X --port 連接埠  --type csv  -u 使用者名稱 -p '密碼' -d testdba0906 --authenticationDatabase 認證資料庫  -c SQLToMongoDB01  -f 欄位1,欄位2,欄位3,欄位4,欄位5 -o  /data/mongodb_back/MongoDBToSQL.csv 

 

Step 2  將從MongoDB中匯出的CSV 檔案上傳到 SQL Server 服務器上。

 

Step 3 將CSV 檔案匯入到SQL Server中

（此過程，不是本文章的重點，所以不再詳細說明，只指出關鍵步驟。）

選擇資料來源，請選擇【一般檔案源】

選擇源表和源視圖 【可以通過編輯映射，修改列名，修改欄位類型，修改欄位長度】

 

step 4  資料匯出成功

檢查資料量和源表資料一致。

此部分 測實驗證OK！

 注意事項

 

注意1： 因為 mongoimport 匯入的檔案預設是json 格式，所以csv 檔案，一定要在命令中指明 --type csv

否則，就無法識別檔案中的資料。報錯資訊：

Failed: error processing document #1: invalid character 'X' looking for beginning of value

（X代表檔案中的第一個字元）

注意 2 ：  mongoimport 匯入的csv檔案，一定要執行 –headerline 參數，指明不匯入第一行。csv格式的檔案第一行為列名。

否則 ，提示一定要指明欄位屬性，報錯資訊：

error validating settings: must specify --fields, --fieldFile or --headerline to import this file type

注意 3 ：CSV 檔案的列資料中不可以包含“” （中文雙引號）。

否則，當匯入此行資料時，提示錯誤資訊

Failed: read error on entry #XXXX: line XXXX, column 110: bare " in non-quoted-field

注意 4： 如果資料中含有中文，需檢查匯入後是否變成了亂碼。

為防止亂碼，需要將csv文檔改成utf-8的編碼方式即可。例如使用edit with notepad ++ 編輯器開啟檔案，另存新檔utf-8就可以了。

注意 5：MongoDB匯出CSV格式一定要通過 –f 參數 指明欄位名，負責報錯：

Failed: CSV mode requires a field list。

注意 6：MongoDB DB 資料模式自由，並且文檔可以內嵌，所以將MongoDB中的資料匯入到SQL Server 比較困難，特別是含有中文語句時。

注意 7 : SQL Server 匯出資料時，欄位資料中不可以包含nchar(9)、nchar(32)、nchar(160) 等特殊字元，否則，在匯出資料產生csv檔案時報錯。

 

本文著作權歸作者所有，未經作者同意不得,謝謝配合！！！