批量上傳檔案到HDFS的Shell指令碼

標籤：批量上傳   改名   code   目的   資料採礦   檔案名稱   upload   tab   app   

在做Hadoop資料採礦項目的時候，我們第一步是來源資料的擷取，即把相應的資料放置到HDFS中，以便Hadoop進行計算，手動將檔案上傳到HDFS中，未免太費時費力，所以我們可以採取像Flume一樣的架構，或者採用Shell指令碼進行檔案的上傳。下面主要提供Shell指令碼的大致寫法，僅供參考，可以根據不同業務進行相應的修改。

版本1：

#!/bin/bash#set java envexport JAVA_HOME=/export/servers/jdkexport JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH#set hadoop envexport HADOOP_HOME=/export/servers/hadoopexport PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH#記錄檔存放的目錄log_src_dir=/export/software/#記錄檔上傳到hdfs的根路徑hdfs_root_dir=/data/clickLog/20151226/#讀取記錄檔的目錄，判斷是否有需要上傳的檔案ls $log_src_dir | while read fileNamedo        if [ "hadoop.log1" = "$fileName" ];then                hadoop fs -put $log_src_dir$fileName $hdfs_root_dir        fidone

版本2：

#版本1的問題：
#雖然上傳到Hadoop叢集上了，但是原始檔案還在。如何處理？
#記錄檔的名稱都是xxxx.log1，再次上傳檔案時，因為hdfs上已經存在了，會報錯。如何處理？

#如何解決版本1的問題
# 1、先將需要上傳的檔案移動到待上傳目錄
#2、在將檔案移動到待上傳目錄時，將檔案按照一定的格式重名名
#/export/software/hadoop.log1 /export/data/click_log/xxxxx_click_log_{date}

#!/bin/bash#set java envexport JAVA_HOME=/home/hadoop/app/jdk1.7.0_51export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH#set hadoop envexport HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH#記錄檔存放的目錄log_src_dir=/home/hadoop/logs/log/#待上傳檔案存放的目錄log_toupload_dir=/home/hadoop/logs/toupload/#記錄檔上傳到hdfs的根路徑hdfs_root_dir=/data/clickLog/20170419/#列印環境變數資訊echo "envs: hadoop_home: $HADOOP_HOME"#讀取記錄檔的目錄，判斷是否有需要上傳的檔案echo "log_src_dir:"$log_src_dirls $log_src_dir | while read fileNamedo    if [[ "$fileName" == access.log.* ]]; then    # if [ "access.log" = "$fileName" ];then        date=`date +%Y_%m_%d_%H_%M_%S`        #將檔案移動到待上傳目錄並重新命名        #列印資訊        echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"$date"        mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date        #將待上傳的檔案path寫入一個列表檔案willDoing        echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date    fi    done#找到列表檔案willDoingls $log_toupload_dir | grep will | grep -v "_COPY_" | grep -v "_DONE_" | while read linedo    #列印資訊    echo "toupload is in file:"$line    #將待上傳檔案清單willDoing改名為willDoing_COPY_    mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"    #讀列表檔案willDoing_COPY_的內容（一個一個的待上傳檔案名稱）,此處的line就是列表中的一個待上傳檔案的path    cat $log_toupload_dir$line"_COPY_" | while read line    do        #列印資訊        echo "puting...$line to hdfs path.....$hdfs_root_dir"        hadoop fs -put $line $hdfs_root_dir    done        mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"done

 

定時執行指令碼： 

 */1 * * * * sh /export/servers/shell/uploadFile2Hdfs.v2.sh */1 * * * * sh source /etc/profile.sh /export/servers/shell/uploadFile2Hdfs.v1.sh # 編輯命令是crontab -e# 查看命令是crontab -l

 

批量上傳檔案到HDFS的Shell指令碼