python語言 實現資料倉儲開發__python

資料倉儲架構：stg—ods—dw—rep/dm/other，基本維度日期+產品。

使用python語言實現mysql到 oracle的etl工作，檔案落地方式。

定義hss函數，程式執行入口；定義general.py公用函數；開發python.py指令碼。

 

資料架構，每一層根據業務設計規範規則

 

etl工作，extract，transform，load，

匯出檔案：資料庫本身匯出語句，

transform遠程擷取檔案，python有封裝好的包，也可以自己寫

負載檔案，資料庫本身語句，

定義檔案分隔字元，定義檔案格式

 

hss函數的實現，建立hss名sh文本，

#!/usr/bin/bash

exec /usr/bin/python/ $0 $@($0是入參指令碼名$@其他參數入參)

後面是python語言設計，檢查環境配置，擷取入參配置（對sh傳參，再傳參給python），實現靈活入參hss –s test.py –p etl_test –t 20170607 等，不像pythontest.py arg1 arg2 arg3必須指定每位的傳參。

hss其實是個別名，hss = ‘sh /path/hss’

 

 

general.py定義公用函數。

 

python.py指令碼，裡面是一個過程，該過程被hss函數調用。

test.py

def Deal:

        try:

                  sql

        except:

                  異常

模板詳見 《python語言 實現資料倉儲開發 附件》