【Kettle】4、SQL SERVER到SQL SERVER資料轉換抽取執行個體

標籤：oracle      錯誤   資訊   產生   sql語句   blog   資料轉換   9.png   

1、系統版本資訊

　　System：Windows旗艦版 Service Pack1

　　Kettle版本：6.1.0.1-196

　　JDK版本：1.8.0_72

2、串連資料庫

　　本次執行個體串連資料庫時使用全域變數。

　　2.1 建立新轉換：spoon啟動後，點擊Ctrl+N建立新轉換

　　

　　2.2 在新轉換介面中，右鍵點擊DB串連，系統會彈出【資料庫連接】介面。

　　

　　windows系統內容下，可用${}擷取變數的內容。

　　

　　說明：

　　　　串連名稱：配置資料來源使用名稱。（必填）

　　　　主機名稱：資料庫主機IP地址，此處示範使用本地IP(Localhost)地址或用127.0.0.1也可以。（必填）

　　　　資料庫名稱：資料庫執行個體名稱。（必填）

　　　　連接埠號碼：資料庫使用連接埠號碼。MS SQL Server預設1433，Oracle預設1521。（必填）

　　　　使用者名稱：登入資料庫使用者。（必填）

　　　　密碼：登入資料庫對應使用者的密碼。（必填）

　　2.3 串連完成後，在DB串連下可看到完成的資料庫連接。右鍵點擊分享，可產生sharp.xml檔案，同時在kettle.properties檔案中配置全域變數。

　　

　　產生的sharp.xml檔案

　　

　　sharp.xml檔案部分內容。

　　

　　kettle.properties部分內容。

　　

3、資料幫浦轉換

　　在【核心對象】下可顯示在轉換中能使用的所有組件。在【輸入】中找到表輸入，雙擊出現到設計頁面中；在【輸出】下，找到表輸出，把空間往空白處拖入即可；然後點住shift鍵，左鍵串連兩者之間的關係。

　　

　　A.表輸入：雙擊表輸入控制項，系統會彈出表輸入空間的詳細內容。

　　

　　說明：

　　　　資料庫連接：DB串連下的串連，這裡選擇就可以

　　　　SQL：編寫查詢來源資料SQL指令碼，可以通過“擷取SQL查詢語句…”擷取

　　　　替換SQL語句裡的變數：如果在查詢條件裡使用了變數，需勾選　　　

　　　　從步驟插入資料：預設

　　　　執行每一行：預設

　　　　記錄數量限制：如果為0，則預覽時無資料

　　　　預覽：  如果無法確定SQL語句是否正常時可以通過【預覽】來查看SQL語句是否正確。

　　B.表輸出：主選項

　　

　　說明：

　　　　資料庫連接：DB串連下的串連資料來源，這裡選擇就可以

　　　　目標表：選擇資料需要插入的資料表

　　　　提交記錄數量：每次插入時提交的數量

　　　　裁剪表：如果選中以後，每次都會把目標表的內容清空，然後再插入

　　　　指定資料庫欄位：表輸入的欄位和表輸出的欄位需選擇映射關係

　　表輸出：資料庫欄位，在這裡可以選擇欄位的映射關係。

　　

　　說明：

　　　　擷取欄位：會自動擷取欄位的映射關係

　　　　輸入欄位對應：需手動維護欄位的映射關係

　　　　SQL：點擊SQL會有選項；執行：本人暫未點擊過

　　完成了表輸入和表輸出的串連後，可點擊左上方的三角號執行下，在下方可查看執行日誌

　　

　　

　　

　　說明：

　　　　根據日誌可以查看出每個步驟執行的記錄數、讀、寫、輸入、輸出、更新、拒絕、錯誤、啟用、時間、速度。可根據此處分析當前轉換運行效率而斷定轉換是否需要進行最佳化。

 

總結：

1、  在運行轉換時，當前轉換是處於並髮狀態，如果有多個表輸入則會同時運行。

2、  在設計轉換時最好是一個資料流，不要一個轉換有多條資料流；如果有多條資料流則有可能發生鎖表問題。

 

　

　　

 

【Kettle】4、SQL SERVER到SQL SERVER資料轉換抽取執行個體