awk實現Left、join查詢、去除重複值以及局部變數講解例子_linux shell

最近看到論壇裡面有幾個不錯的小例子，對於學習awk還是有協助，在這兒詳細的說一下

一、類似資料庫中的left join查詢

複製代碼 代碼如下:

[root@krlcgcms01 mytest]# cat a.txt    //a.txt
111   aaa
222   bbb
333   cccc
444   ddd
[root@krlcgcms01 mytest]# cat b.txt    //b.txt
111  123  456
2    abc  cbd
444  rts  786

要求輸出結果是
111,aaa,123,456
444,ddd,rts,786

實現方法:

複製代碼 代碼如下:

[root@krlcgcms01 mytest]# awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786

解釋：當NR和FNR相同時,這就說明在對第一個檔案進行操作，a[$1]=$2表示，建立一個數組，以第一個欄位為下標，第二個欄位為值。當NR!=FNR時,說明在對第二個檔案進行操作，注意：這個時候的$1和前面的$1不是同一個東西了，前面的$1表示的是a.txt的第一個欄位，而後面的$1表示的是b.txt的第一個欄位。a[$1]表示以b.txt中第一個欄位的為下標的值，如果a[$1]有值的話，說明也存在於a.txt檔案中，這樣就把資料print出來就行了。

實現方法2:

複製代碼 代碼如下:

[root@krlcgcms01 mytest]# awk -v OFS="," 'NR==FNR{a[$1]=$2;} NR!=FNR && $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786

解釋：-v OFS=","這個是設定輸出時的列分割符，$1 in a這個是b.txt檔案中的第一列的值是不是在數組a的key中，這個對做程式的來說很好理解，各種語言當中都有這樣的用法，或者函數。例如，php中有in_array函數。比較一下，方法1和方法2中的print，方法1我加了雙引號，方法2我卻沒有加，但是輸出的效果卻是一樣的。

二、去除重複的值

複製代碼 代碼如下:

[root@krlcgcms01 mytest]# cat repea   //檔案repea
 a b
 c d
 e f
 b d
 b a
 f e
 1 2
 2 1

如果有a,b和b,a這樣的情況，就刪除b,a，當然數字也一樣;

實現方法1：

複製代碼 代碼如下:

awk '{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printf a[i]"\t";printf "\n"}' repea|sort|uniq
1       2
a       b
b       d
c       d
e       f

解釋：for(i=1;i<=NF;i++)a[i]=$i;將每一列中的二個欄位放到數組中，asort(a)，這個數組進行排序，後面的代碼是將數組資料輸出來，通sort命令對輸入的資料進行排序，相同資料會排在一起，通過uniq來進行去除相同的列。這種方法比較有通用性，不光適合二列，三列，四列都行。不過效率差了點。

實現方法2：

複製代碼 代碼如下:

[root@krlcgcms01 mytest]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' repea
a b
c d
e f
b d
1 2
[root@krlcgcms01 mytest]# awk '{a[$0];if (!($2 OFS $1 in a)) print  }' repea   
a b
c d
e f
b d
1 2

解釋：方法2的二種寫法，出來的結果是一樣的，a[$0];沒有賦值也沒有報錯，為什麼呢？awk在遇到這樣沒有定義的變數時，會給它一個初值。if (!($2 OFS $1 in a))表示返轉欄位不在數組a中，這裡所說的在，表示key是不是存在，不是值。print 不寫預設是一行。

實現方法3：

複製代碼 代碼如下:

[root@krlcgcms01 mytest]# awk '!a[$1_$2]++&&!a[$2_$1]++' repea
a b
c d
e f
b d
1 2
[root@krlcgcms01 mytest]# awk '{if(!a[$1_$2]++&&!a[$2_$1]++)print $0;}' repea
a b
c d
e f
b d
1 2

解釋：!a[$1_$2]++&&!a[$2_$1]++等於if(!a[$1_$2]++&&!a[$2_$1]++),對於首次出現的記錄，a[$2_$1]的值是未定義的，由於後面的 ++ 是數學計算，所以a[$2_$1]會被賦值成數字0，也是由於 ++ 操作符，會先取值，再計算，從左至右 ++ 運算子的優先順序大於！運算子的，所以對於第一行記錄實際上是if(! 0) print $0     ! 是取反，0 是假，! 0 就是真，那麼就會執行後面的 print $0對於後面出現的重複記錄，a[$0] 經過 ++ 的計算已經變為 1、2、3 。。。而 ! 1  ! 2  ! 3 ... 都為假，不會列印。

三、awk的局部變數

這個例子來說明一下，awk怪異的局部變數

複製代碼 代碼如下:

[root@krlcgcms01 mytest]# cat sum 
 1       2 
 2       3 
 a       b 
 3       2 
 4       1 
 3       r 

把都是數位行，最大的那個數字加起來，第一行是2，第二行是3，每四行是3，第五行是4，總和是12

複製代碼 代碼如下:

function max(one,two){
 if(one > two){
 sum = sum + one;
 }else{
 sum  = sum + two;
 }
 }

{if($1~"[0-9]" && $2~"[0-9]") max($1,$2);}
 END{print "sum="sum}

在max方法裡面，變數sum是會影響外面的，這裡的sum是全域的。
[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=12

複製代碼 代碼如下:

function max(one,two,sum){    //方法中的sum局部變數
if(one > two){
sum = sum + one;
}else{
sum  = sum + two;
}
}

{if($1~"[0-9]" && $2~"[0-9]") max($1,$2,sum);}

END{print "sum="sum}         //所以為空白

[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=

複製代碼 代碼如下:

function max(one,two,sum){
 if(one > two){
 sum = sum + one;
 }else{
 sum  = sum + two;

 }

  return  sum                 //加上return就可以了
 }

{if($1~"[0-9]" && $2~"[0-9]") sum = max($1,$2,sum);}

END{print "sum="sum}