shell cat 命令的 不靠譜使用，導致hive 表中的小時資料，每隔幾天就會缺失一個小時的

標籤：style   使用   sp   資料   on   bs   size   new   nbsp   

現象：hive 表中的小時資料，每隔幾天就會缺失一個小時的，最後發現時在做資料彙總cat的時候，失敗，導致：

修改指令碼，做下面的方案，解決了：

##merge 5min data into hour data                                                                                                                        cat $datapath/news_5min_$xhour* >  $localpath/data/channelnews_$hour.txt                                                     #####check                                                                                                                                                     tmppath="${localpath}/data/channelnews_${hour}.txt"                                                                                       i=0                                                                                                                                                                      while (( $i < 10))                                                                                                                                                   do                                                                                                                                                                           m=`du -b $path | awk ‘{print int($1)}‘`                                                                                                                  if [ $m -lt 1024 ];                                                                                                                                                   then                                                                                                                                                                           echo "${path}  is small ,is $m"                                                                                                                                 sleep 5;                                                                                                                                                               else                                                                                                                                                                            break                                                                                                                                                             fi                                                                                                                                                                                 let "i++"                                                                                                                                              done                                                                                                                                                                      echo "i is:$i"       

shell cat 命令的 不靠譜使用，導致hive 表中的小時資料，每隔幾天就會缺失一個小時的