Pig 在 Shell中使用，批量載入處理檔案

標籤：shell   pig   

首先，我想達到的目的是批量的處理一個檔案夾下的的許多文檔，這些文檔儲存了我要處理的資料，因為pig是初學，，所以不知到該怎麼批量的load,沒有寫過

自己的UDF，只能一個一個檔案的load，然後處理。

但是這個肯定不是我希望的處理方式，於是聯想到是不是可以將pig指令碼插入到shell中然後迴圈執行。

最後嘗試成功了，當然我相信pig的udf中可以自己定義這種load的方式，但是如果出於快速實現的目的可以

先使用這種方式。

下面是shell的代碼部分：

mkdir result_0925_D2for eachfile in `ls -B  | grep 00.*`do        echo $eachfile        input_=$eachfile        output_=./result_0925_D2/$input_        echo $output_        file="$input_"        file_out="$output_"        pig -param input=$file  -param output=$file_out -x local new_getResult.pigdone

其中最重要的是就是在執行pig的時候，給輸入輸出檔案迴圈的代入。

Pig 在 Shell中使用，批量載入處理檔案