資料落地不落地匯入匯出的一個誤區_GreenPlumn資料庫

面對日益龐大的資料量，不同資料庫之間資料同步，或者不同系統之間資料的同步匯入和匯出。選擇的方式越來越多，一味強調什麼不落地資料同步，並不意味著效率一定有多高，要視對應的情境來決定。

情境一：DB2 匯出同步資料到GreenPlumn資料庫

      DB2 普通的資料庫db2export 匯出速度大概幾十M左右，DB2 Dpf分區資料庫，多線程按照分區來抽取大概可以達到進200M左右，db2 hpu工具的速度就快了。

     Greenplumn資料庫匯入的速度，Copy方式可以達到280M/s，gpfdist服務可以達到350M/s左右，gpfdist可以啟動多個服務，多個網卡平行處理速度就更快。

     這樣如果用Db2不落地方式匯出到gp資料庫，可能就會出現一個效能的瓶頸。DB2匯出才幾十M，一個大資料量的表比如說有幾百G，DB2匯出花費時間2個小時，實際GP只要10分鐘，不落地方式導致GP資料庫連接一直被佔用，得不償失。

萬一DB2匯出中間的流程掛掉，定位錯誤極為不方便，而且流程重新來一遍花費的時間就更長。

情境二：Oracle 資料庫匯出同步到GreenPlumn資料庫

       和上面一樣只是Oracle資料庫就更慢了。我曾經測試過一個從GreenPlumn資料庫匯出到oracle資料庫，一個幾十G的檔案從Gp匯出不落地入庫到Oracle資料庫花費將近一天的時間.

反之從Oracle資料庫匯出入庫到GP基本上時間也都是花在Oracle匯出上面。

所以項目中採用的方式，以實用可維護為主，記憶體，cpu各種實體環境需要綜合考慮。