crontab+shell 作業流程調度__Hadoop

在前面的文章中，我們有簡單提到過 shell or python 調度hive 的 虛擬碼 ，今天我們在豐富下 這些虛擬碼

http://blog.csdn.net/haohaixingyun/article/details/51821444

說明，在實際生產環境中，可能會部署一些成熟的作業流程調度引擎 Oozie  or  Azkaban 等 ，更多詳細資料 請自行查閱

今天我們有三段shell 指令碼為代碼 ，代碼有參考網上教學資料

1. crontab

*/10 * * * * root /opt/main.sh

2，mapreduce_job.sh 指令碼

cmd = "hadoop jar example.jar xxx-D......."

$cmd

code=$?

while[$code !=0];do

echo "run job failed ,run submit ......"

$cmd

done

3，hive_job.sh 指令碼

cmd =“”hive -e \" use mydatabase ;alter table t add if not exists partition (pt = "20160719") location '/gr/data/20160719;

          select count(*) from t where pt = '20160719'\'' ''

$cmd

code=$?

while [$code!=0];do

echo "run job failed ,run submit ......"

$cmd

done

4, main.sh  建立依賴關係

sh mapreduce_job.sh

sh hive_job.sh