關於資料移轉的方法、步驟和心得,資料移轉步驟心得

來源:互聯網
上載者:User

關於資料移轉的方法、步驟和心得,資料移轉步驟心得
關於資料移轉的方法、步驟和心得

在項目中經常會遇到系統完全更換後的曆史資料移轉問題,以示對客戶曆史工作的尊重,何況很多資料仍有保留的必要。
那怎麼做曆史資料移轉呢?

系統分析:
1、分析原有的業務系統
精確到大致的系統功能模組、大致的處理流程即可
2、分析現有的業務系統
精確到大致的系統功能模組、大致的處理流程即可
3、分析兩者自己的區別和差異
大致分析一下兩個業務系統之間的區別,有助於確定工作量和工作進度
4、分析使用者對舊有資料的需求
分析對舊有資料的需求,才不至於盲目的全部性的進行遷移
5、分析使用者對舊有資料的處理規則

舊有資料的處理規則,一般分為以下幾類:
1、基礎資料,通常這一類容易遷移,資料格式簡單,但是會影響所有的相關業務資料,關注點為資料的主鍵和唯一鍵的方式。
2、純曆史資料的匯入,僅供參考用的,這一類資料匯入容易
 2.1 純曆史資料
 這一類資料處理起來會比較容易,一次性匯入即可,後續採用增量資料匯入。
 2.2 流程性資料
 這一類資料只有在記錄完全關閉後才能結束,需要進行增量匯入和資料更新,同時還要進行相關查詢介面的開發,以保證舊有資料能夠在新系統中查詢的到。
3、新老系統資料表結構變化較大的曆史資料
 這一類資料的工作量是最重的,就需要仔細去研究新老業務系統的資料結構了。
 1、盡量通過甲方單位來收集齊全相關原系統的相關設計文檔,這一點對資料分析很有協助,通過人的感覺和對資料的觀察來分析畢竟不太靠譜。
 2、在原系統上進行相關資料的觀察,瞭解資料的變化和資料表資料的關係(對於比較難以理解的相關欄位很有協助)
 3、比較新老系統資料的差異,如果實在很不靠譜的話,建議按2.2去處理。

系統設計:
1、做完系統分析之後,對相關資料進行歸類,基礎資料、純曆史資料、變化較大的曆史資料
2、先從簡單的入手,給自己點信心
3、在excel表中進行相關表的資料字典對照,勾畫出對應欄位、轉換邏輯、依賴關係、必要時在新系統資料表上做相應的冗餘,等資料移轉完畢後再清除。
關鍵點:
不同資料庫的欄位類型的匹配問題,比如SQLServer的text,在oracle應該對應clob,但是寧願轉換成幾個varchar2,從實現角度相對容易些。
關於主鍵的問題,一致的資料類型盡量維持現有狀態,不一致的盡量採用oracle的序列或sqlserver的identity int,但是遷移完畢後,要注意序列值的更新

系統實現:
1、PL/SQL或T-SQL,DTS、SSIS或者PowerBuilder的管道作為資料移轉的方式
2、相關商務邏輯的遷移,與資料完整性和業務相關的預存程序、觸發器、函數的改寫,甚至SQL的改寫
3、業務查詢頁面的編寫

後話:
1、資料移轉沒有特別或進階的方法
2、對業務資料的分析最為關鍵,需要不斷的嘗試在新系統上不斷的測試
3、資料移轉技術,主要通過SQL、預存程序、甚至遊標來實現,優先順序也如上

還有一種資料移轉僅僅是資料庫的平遷或異構資料庫遷移
資料庫平遷,即為了效能擴充需要從一台伺服器遷移到另外一台伺服器上,用資料庫的匯出匯入或備份恢複工具處理即可,當然也要考慮遷移後的一些序欄欄位的初始值。
異構資料移轉,即從一個資料庫平台遷移到另外一個資料庫平台,用ETL工具或SQL均可實現,不過要注意商務邏輯的遷移,即預存程序、函數、觸發器之類的

相關文章

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.