1 awk:文本和資料處理工具
--------------------------------------------------------------------------------
awk擅長於對資料進行分析並產生報告,簡單來說awk就是把檔案逐行的讀入,以空格為預設分隔符號將每行切片,切開的部分再進行各種分析處理。
使用方法:awk '{pattern + action}' {filenames}
其中pattern 表示awk 在資料中尋找的內容,而action是在找到匹配內容時所執行的一系列命令。花括弧({})不需要在程式中始終出現,但它們用於根據特定的模式對一系列指令進行分組。pattern就是要表示的Regex,用斜杠括起來。準備執行個體操作檔案:netstat -t >> netstat.txt
--------------------------------------------------------------------------------
1.1 列印輸出:print,格式化列印輸出:printf
--------------------------------------------------------------------------------
awk '{print$1, $4}' netstat.txt
awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt
1.2 過濾記錄:awk '$3==0 && $6=="LISTEN"' netstat.txt
--------------------------------------------------------------------------------
其中的“==”為比較子。其他比較子:!=,>, <, >=, <=
awk '$3>0 {print $0}' netstat.txt
加入表頭:內建變數NR
awk '$3==0 && $6=="LISTEN" || NR==1 ' netstat.txt
再加上格式化輸出
awk '$3 ==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat.txt
ps:awk的內建變數
$0
目前記錄(這個變數中存放著整個行的內容)
$1~$n
目前記錄的第n個欄位,欄位間由FS分隔
FS
輸入欄位分隔符號預設是空格或Tab
NF
目前記錄中的欄位個數,就是有多少列
NR
已經讀出的記錄數,就是行號,從1開始,如果有多個檔案話,這個值也是不斷累加中。
FNR
目前記錄數,與NR不同的是,這個值會是各個檔案自己的行號
RS
輸入的記錄分隔字元,預設為分行符號
OFS
輸出欄位分隔符號,預設也是空格
ORS
輸出的記錄分隔字元,預設為分行符號
FILENAME
當前輸入檔案的名字
輸出行號:awk '$3 ==0 && $6=="ESTABLISHED"|| NR==1 {printf "%02s %s %-20s %-20s %s\n",NR, FNR,$4,$5,$6}' netstat.txt
指定分隔字元:awk 'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd
或者awk -F: '{print $1,$3,$6}' /etc/passwd
以\t作為分隔字元輸出:awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd
1.3 字串匹配:~表示匹配模式開始,Regex匹配。
--------------------------------------------------------------------------------
awk '$6 ~ /TIME/ || NR ==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
awk '$6 ~ /ESTABLISHED/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
awk '/LISTEN/' netstat.txt
使用“/TIME|ESTABLISHED/” 來匹配TIME 或者ESTABLISHED :
awk '$6 ~ /FIN|TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
模式取反:!~
awk '$6 !~ /TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
或者awk '!/WAIT/' netstat.txt
1.4 拆分檔案:使用資料流重新導向”>”
--------------------------------------------------------------------------------
awk 'NR!=1 {print > $6}' netstat.txt NR!=1表示不處理表頭
把指定的列輸出到檔案: awk 'NR!=1{print $4,$5 > $6}' netstat.txt
使用程式流進行條件拆分:if else
awk 'NR!=1{if($6 ~ /TIME|ESTABLISHED/) print > "1.txt";
else if($6 ~ /LISTEN/) print > "2.txt";
else print > "3.txt"}' netstat.txt
1.5 統計
--------------------------------------------------------------------------------
計算所有的C檔案,CPP檔案和H檔案的檔案大小總和:
ls -l *.cpp *.c*.h | awk '{sum+=$5} END {print sum}'
統計各個connection狀態的用法:使用數組
awk 'NR!=1{a[$6]++;} END {for (i in a) print i ", " a[i];}' netstat.txt
統計每個使用者的進程的佔了多少記憶體:
ps aux| awk 'NR!=1{a[$1]+=$6;} END { for(i ina) print i ", " a[i]"KB";}'
數組:因為awk中數組的下標可以是數字和字母,數組的下標通常被稱為關鍵字(key)。值和關鍵字都儲存在內部的一張針對key/value應用hash的表格裡。由於hash不是順序儲存,因此在顯示數組內容時會發現,它們並不是按照你預料的順序顯示出來的。數組和變數一樣,都是在使用時自動建立的,awk也同樣會自動判斷其儲存的是數字還是字串。一般而言,awk中的數組用來從屬記錄中收集資訊,可以用於計算總和、統計單詞以及跟蹤模板被匹配的次數等等。
1.6 使用指令碼進行文本、資料處理
--------------------------------------------------------------------------------
BEGIN、END關鍵字:BEGIN表示處理所有行之前的標識,END表示處理完所有行後的標識,具體文法:
BEGIN{ 這裡面放的是執行前的語句}
END {這裡面放的是處理完所有的行後要執行的語句}
{這裡面放的是處理每一行時要執行的語句}
執行個體操作檔案:cat cal.awk
#!/bin/awk -f
#運行前
BEGIN {
math= 0
english= 0
computer= 0
printf"NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf"---------------------------------------------\n"
}
#運行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#運行後
END{
printf"---------------------------------------------\n"
printf "TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR,computer/NR
}
執行:awk -f cal.awk score.txt
1.7 變數聲明和環境變數:使用-v參數進行變數聲明,ENVIRON關鍵字表示環境變數
--------------------------------------------------------------------------------
$ x=5
$ y=10
$ export y #y被export為環境變數
$ echo $x $y
5 10
$awk -v val=$x '{print $1, $2, $3, $4+val, $5+ENVIRON["y"]}' OFS="\t" score.txt