shell 分割檔案

標籤：shell

幫同事寫的小程式

140822,1406181801491716879,221.203.75.168,20140822000014140823,1408051715321587060,101.28.174.242,20140822000127140823,1408051715321587060,101.28.174.242,20140822000129140824,1408051715321587060,101.28.174.242,20140822000139140824,1406031640261808247,110.254.245.82,20140822000205140825,1305230023521467300,210.73.6.180,20140822000216140825,1408181402431171048,110.243.255.56,20140822000216140825,1408131900341325654,110.248.233.239,20140822000216140825,1407071756131811923,27.213.51.178,20140822000228140826,1408171201311863011,124.67.26.134,20140822000238

某個資料檔案的內容如上，每行的第一部分是時間140822   2014年8月22日

要按不同的日期分割檔案， shell指令碼如下:

cat data.txt | while read linedoif [ -n "$line" ]thenecho $lineecho ${line%%,*}echo $line >> "${line%%,*}.txt"echo "${line##*,}"fidone

實際運行中，速度非常差，無法容忍，由於時間的起止是從140822 至  140826

所以程式改為

datefor((i=140818;i<=140826;i++));do    echo $i;    awk '{if(/^'$i'/)print $0;}' data.txt >$i.data.csvdone;date

這樣速度有了明顯的提升，推斷速度提升的原因是減少了IO操作次數，子進程建立和銷毀的次數也減少了

嘗試使用grep替代awk命令發現速度更快

datefor((i=140818;i<=140826;i++));do    echo $i;    grep "$i," data.txt > "${i}.txt"done;date

使用awk命令耗時為6分鐘左右，而使用grep 命令耗時大約為3分多鐘

即使是shell命令也是非常有意思的。

shell 分割檔案