批量資料檔案用sqlldr導資料到oracle中

標籤：oracle   shell   

    使用sqlload導文本資料到oracle中想必很多人多使用過，但是倘若有幾百或者幾千個資料文本，或者即時有文本資料產生。這種情境如何大量匯入oracle呢，下面就來講解下我處理的方式。

    1.shell指令碼LoadData.sh如下

#!/bin/bashdata_dir=/home/bea/datasource/warn-log/dayflow  # 文本資料目錄data_dir_bak=/home/bea/datasource/warn-log/dayflow_bakshell_dir=/home/bea/scriptwhile [ 1 ]docd $data_dirif [ `pwd` == $data_dir ]then   filelist=`ls -rt | grep dayflow.log_.`  #資料文字檔名匹配fi#echo $filelistcd $shell_dirif [ `pwd` == $shell_dir ]then   for file in $filelist   do       date=`date "+%Y%m%d %H:%M:%S"`       export LoadFileName=$data_dir"/"$file    #這個地方很重要，要載入變數到環境中       echo "Time is $date ,開始導$LoadFileName資料"       sqlldr user_1/[email protected]_db control=dayflow.log.ctl BAD=dayflow.log.bad       echo "Time is $date ,$LoadFileName資料匯入完畢"              echo "開始備份檔案$file"       mv $LoadFileName $data_dir_bak       echo "$file備份完畢"   donefidone

這個地方最應該要注意的是

export LoadFileName=$data_dir"/"$file

這裡將LoadFileName （匯入oracle 的文本，絕對路徑）這個變數 export到linux環境中，這樣sqlload的控制檔案就可以讀到這個變數並進行匯入

2.sqlldr控制文本dayflow.log.ctl

load dataCHARACTERSET AL32UTF8infile ‘$LoadFileName‘APPEND into table user_1.BIL_FLUX_HIGH_CURfields terminated by ‘|‘trailing nullcols(ACCS_NBR "TRIM(:ACCS_NBR)",DATE_ID "TRIM(:DATE_ID)",TOTAL_FLUX "TRIM(:TOTAL_FLUX)",sys_date "sysdate")

請注意 infile ‘$LoadFileName‘，這裡就是shell中 剛才export的變數，通過這種方式就可以以變數的形式傳入檔案名稱，那麼大量匯入也就是一個迴圈的操作。

本文出自 “改變世界” 部落格，請務必保留此出處http://wongsong.blog.51cto.com/6040075/1906436

批量資料檔案用sqlldr導資料到oracle中