awk用法詳解

awk用法詳解 awk: 中文意思是報告產生器 能夠根據我們輸入的資訊，將資訊格式化以後顯示，將定義好的資訊以比較美觀（直觀）的方式顯示出來出現比較早，繼而出現了new awk（nawk）在windows上實現，gawk, awk實現在linux上。awk是一種程式設計語言，用於在linux/unix下對文本和資料進行處理。資料可以來自標準輸入、一個或多個檔案，或其它命令的輸出。它支援使用者自訂函數和動態Regex等先進功能，是linux/unix下的一個強大編程工具。它在命令列中使用，但更多是作為指令碼來使用。awk的處理文本和資料的方式是這樣的，它漸進式掃描檔案，從第一行到最後一行，尋找匹配的特定模式的行，並在這些行上進行你想要的操作。如果沒有指定處理動作，則把匹配的行顯示到標準輸出(螢幕)，如果沒有指定模式，則所有被操作所指定的行都被處理。awk分別代表其作者姓氏的第一個字母，分別是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供 了Bell實驗室和GNU的一些擴充。下面就對awk進行介紹。 awk使用的基本格式： 123# awk [options] 'script' file1 file2, ...# awk [options] 'PATTERN { action }' file1 file2, ...細化了上面的組合常用的命令：print（輸出）, printf（列印）awk工作過程 根據我們所定義的模式，一次從檔案中讀取一行文本，awk會對取出的文本做相應的切片，將每一行按照分隔字元進行切割，假如我們有一行文本： this is a test.它會使用空白字元當做分隔字元，將它們各個分開，切割成了四個片，分別為： this is a test.這四個片，可以使用變數，分別對應為$1,$2,$3,$4代表四個切割片，下面就做一個示範，看如何?awk的強大功能 一、awk的輸出：print 12print的使用格式：print item1, item2, ...輸出要點： 1、各項目之間使用逗號隔開，而輸出時則以空白字元分隔； 2、輸出的item可以為字串或數值、目前記錄的欄位(如$1)、變數或awk的運算式；數值會先轉換為字串，而後再輸出； 3、print命令後面的item可以省略，此時其功能相當於print $0, 因此，如果想輸出空白行，則需要使用print ""； 執行個體分析： 顯示整個文本（注意，這裡只是測試，所以只有一行）#  awk '{print $N}' test.txtthis is a test.# awk '{print $0}' test.txtthis is a test.顯示文本的一行中的第一個參數# awk '{print $1}' test.txtthis顯示文本的一行中的第二個參數# awk '{print $2}' test.txtis顯示文本的一行中的第四個參數# awk '{print $4}' test.txttest.顯示文本的一行中的第一與第二個個參數# awk '{print $1,$2}' test.txtthis is顯示文本的一行中的第一個與第二個參數，中間可以加#號# awk 'BEGIN{OFS="#"}{print $1,$2}' test.txtthis#is顯示文本中的各個參數，還可以加修飾符# awk 'BEGIN{OFS=":"}{print $1,$2,$3,$4}' test.txtthis:is:a:test.顯示文本中的參數，還可以加修飾符，還可以加字串#  awk 'BEGIN{OFS=":"}{print $1,"hello",$2}' test.txtthis:hello:is輸出三行，注意換行需要加\n# awk 'BEGIN { print "line one\nline two\nline three" }'line oneline twoline three二、awk變數 2.1 awk內建變數之記錄變數： 1234FS: field separator，讀取文本時所使用的欄位分隔符號RS: Record separator，讀取文本資訊所使用的分行符號OFS: Output Filed Separator: 輸出文本時使用的欄位分隔符號ORS：Output Row Separator：輸出文本時使用的行分隔字元2.2 awk內建變數之資料變數： NR: The number of input records，awk命令所處理的記錄數；如果有多個檔案，這個數目會把處理的多個檔案中行統一計數； NF：Number of Field，目前記錄的field個數； FNR: 與NR不同的是，FNR用於記錄正處理的行是當前這一檔案中被總共處理的行數； 執行個體分析： 顯示文本的行數# awk '{print NR}' test.txt1顯示一行總共有幾個參數# awk '{print NF}' test.txt4顯示文本的最後一個參數# awk '{print $NF}' test.txttest.同時查看多個文本# awk '{print FNR}' test.txt /etc/fstab1  顯示的是第一個文本的行數1  顯示的是第二個文本的第一行數，一此類推2  顯示的是第二個文本的第二行數3  顯示的是第二個文本的第三行數ARGV: 數組，儲存命令列本身這個字串，如awk '{print $0}' a.txt b.txt這個命令中，ARGV[0]儲存awk，ARGV[1]儲存a.txt； ARGC: awk命令的參數的個數； FILENAME: awk命令所處理的檔案的名稱； ENVIRON：當前shell環境變數及其值的關聯陣列； 1234查看環境變數# awk 'BEGIN{print ENVIRON["PATH"]}'/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/apache/bin:/usr/local/mysql/bin:/root/bin2.3 使用者自訂變數 gawk允許使用者自訂自己的變數以便在程式碼中使用，變數名命名規則與大多數程式設計語言相同，只能使用字母、數字和底線，且不能以數字開頭。gawk變數名稱區分字元大小寫。 2.3.1 在指令碼中賦值變數 在gawk中給變數賦值使用指派陳述式進行 2.3.2 在命令列中使用賦值變數 gawk命令也可以在“指令碼”外為變數賦值，並在指令碼中進行引用。 執行個體分析： 12345輸出一個變數，並賦值# awk 'BEGIN{var="variable testing";print var}'variable testing# awk -v var="variable testing" 'BEGIN{print var}'variable testing三、awk列印工具：printf 12printf命令的使用格式：printf format, item1, item2, ...printf要點： 1、其與print命令的最大不同是，printf需要指定format； 2、format用於指定後面的每個item的輸出格式； 3、printf語句不會自動列印分行符號；需要添加\n format格式的指示符都以%開頭，後跟一個字元；如下： %c: 顯示第一個參數的第一個字元 %d, %i：十進位整數； %e, %E：科學計數法顯示數值； %f: 顯示浮點數； %g, %G: 以科學計數法的格式或浮點數的格式顯示數值； %s: 顯示字串； %u: 不帶正負號的整數； %%: 顯示%自身； 修飾符： N: 顯示寬度； -: 靠左對齊； +：顯示數值符號； 舉例分析： # awk '{printf "%c\n",$1}' test.txtt 顯示第一個參數的第一個字母# awk '{printf "%s\n",$1}' test.txtthis  顯示第一個參數# awk '{printf "%10s\n",$1}' test.txt      this 顯示時用了10個字串，預設是靠右對齊# awk '{printf "%-10s\n",$1}' test.txtthis  顯示時靠左對齊，後面有6個Null 字元串# awk '{printf "%-10s,%-10s\n",$1,$2}' test.txtthis      ,is# awk '{printf "%-10s%-10s\n",$1,$2}' test.txtthis      is # awk -F: '{printf "%5d",$3}' /etc/passwd    0    1    2    3    4    5    6    7    8    9   10   11   12   13   14   99   81   28  69   77   38   70   32   47   51   74   16   68  100   2965534   43   42  500  501  502  5032002 2003 2004 4004 2033 2034 4005 4006 4007 4011 4017 4018 4019 4026 4027 4028   48   25  101# awk -F: '{printf "%-5d\n",$3}' /etc/passwd   靠左對齊# awk -F: '{printf "%+5d\n",$3}' /etc/passwd   靠右對齊# awk -F: '{printf "%-15s %i\n",$1,$3}' test.txtthis is a test. 0四、輸出重新導向 print items > output-fileprint items >> output-fileprint items | command特殊檔案描述符：/dev/stdin：標準輸入/dev/sdtout: 標準輸出/dev/stderr: 錯誤輸出/dev/fd/N: 某特定檔案描述符，如/dev/stdin就相當於/dev/fd/0；例子：# awk -F: '{printf "%-15s %i\n",$1,$3 > "/dev/stderr" }' /etc/passwdroot            0bin             1daemon          2adm             3lp              4sync            5shutdown        6halt            7五、awk的操作符： 5.1 算術操作符： -x: 負值 +x: 轉換為數值； x^y: x**y: 次方 x*y: 乘法 x/y：除法 x+y: x-y: x%y: 5.2 字串操作符： 只有一個，而且不用寫出來，用於實現字串串連； 5.3 賦值操作符： =、+=、-=、*=、/=、%=、^=、**=、++、-- 需要注意的是，如果某模式為=號，此時使用/=/可能會有語法錯誤，應以/[=]/替代； 5.4 布爾值 awk中，任何非0值或非Null 字元串都為真，反之就為假； 5.5 比較操作符： x < y      x小於y為真，反之為假x <= y     x小於等於y為真，反之為假x > y      x大於y為真，反之為假x >= y     x大於等於y為真，反之為假x == y    x恒等於y為真，反之為假x != y    x不等於y為真，反之為假x ~ y   True if the string x matches the regexp denoted by y.x !~ y  True if the string x does not match the regexp denoted by y.subscript in array    True if the array array has an element with thesubscript subscript.5.5 運算式間的邏輯關係符： &&： 邏輯與 || ：邏輯或 5.6 條件運算式：相當於if語句 舉例：若a大於b，則取a is max，反之取b is maxa=3b=4a>b?a is max:b is max5.7 函數調用： function_name (para1,para2) 六、awk的模式： awk 'program' input-file1 input-file2 ... 其中的program為: pattern { action } pattern { action } ... 6.1 常見的模式類型： 1、Regexp: Regex，格式為/regular expression/ 例如：顯示以r開頭的行# awk -F: '/^r/{print $1}' /etc/passwdrootrpcrpcuser2、expresssion：運算式，其值非0或為非Null 字元時滿足條件，如：$1 ~ /foo/ 或 $1 == "magedu"，用運算子~(匹配)和~!(不匹配)。 例題：顯示id號小於等於2的使用者和id號# awk -F: '$3-1<5{print $1,$3}' /etc/passwdroot 0bin 1daemon 2# awk -F: '$3<=5{print $1,$3}' /etc/passwdroot 0bin 1daemon 2取出預設shell為bash的使用者# awk -F: '$7~"bash$"{print $1,$7}' /etc/passwdroot /bin/bashstudent /bin/bashvisitor /bin/bashmyuseradd /bin/bash顯示預設shell不是bash的使用者# awk -F: '$7!~"bash"{print $1,$7}' /etc/passwdbin /sbin/nologindaemon /sbin/nologinadm /sbin/nologinlp /sbin/nologin3、Ranges： 指定的匹配範圍，格式為pat1,pat2 顯示id號為0或者shell為/sbin/nologin的使用者# awk -F: '$3==0,$7~"nologin"{print $1,$3,$7}' /etc/passwdroot 0 /bin/bashbin 1 /sbin/nologin4、BEGIN/END：特殊模式，僅在awk命令執行前運行一次或結束前運行一次 # awk -F: '$3==0,$7~"nologin"{printf "%-10s%-20s\n",$1,$7}' /etc/passwdroot      /bin/bash         bin       /sbin/nologin可以在顯示時顯示表頭# awk -F: 'BEGIN{print "Username shell"}{printf "%-10s%-20s\n",$1,$7}' /etc/passwdUsername      shellroot      /bin/bash         bin       /sbin/nologin     daemon    /sbin/nologin     adm       /sbin/nologin顯示表頭和表尾#  awk -F: 'BEGIN{print "Username  shell"} {printf "%-10s%-20s\n",$1,$7}END{print "END OF report"}' /etc/passwdUsername      shellroot      /bin/bash         bin       /sbin/nologin     daemon    /sbin/nologin     adm       /sbin/nologin  END OF report5、Empty(空模式)：匹配任意輸入行，對檔案中的每一行做匹配 # awk -F:  '{printf "%-10s%-20s\n",$1,$7}' /etc/passwdroot      /bin/bash         bin       /sbin/nologin     daemon    /sbin/nologin     adm       /sbin/nologin6.2 常見的Action（動作） 1、Expressions:運算式2、Control statements：控制語句（if、while...do、for....等待)3、Compound statements:複合陳述式4、Input statements：輸入語句5、Output statements：輸出語句/Regex/：使用萬用字元的擴充集。 關聯運算式：可以用下面運算子表中的關係運算子進行操作，可以是字串或數位比較，如$2>%1選擇第二個 欄位比第一個欄位長的行。 模式比對運算式： 模式，模式：指定一個行的範圍。該文法不能包括BEGIN和END模式。 BEGIN：讓使用者指定在第一條輸入記錄被處理之前所發生的動作，通常可在這裡設定全域變數。 END：讓使用者在最後一條輸入記錄被讀取之後發生的動作。 七、控制語句： 7.1 if-else 文法：if (condition) {then-body} else {[ else-body ]} 執行個體分析： 若使用者是root則顯示“admin”否則顯示為“Common user”# awk -F: '{if ($1=="root") print $1,"admin"; else print $1, "Common user"}' /etc/passwdroot adminbin Common userdaemon Common useradm Common userlp Common user這是對上面的文法格式化了，看起來更美觀# awk -F: '{if ($1=="root") printf "%-15s: %s\n", $1,"Admin"; else printf "%-15s: %s\n", $1, "Common User"}' /etc/passwdroot           : Adminbin            : Common Userdaemon         : Common Useradm            : Common Userlp             : Common User統計id號大於等於500的使用者個數# awk -F: -v sum=0 '{if ($3>=500) sum++}END{print sum}' /etc/passwd217.2 while 文法： while (condition){statement1; statment2; ...} 執行個體分析： 顯示字串大於等於8的（每一個字串都要做一下判斷）# awk -F: '{i=1;while (i<=NF) {if (length($i)>=8) {print $i}; i++ }}' /etc/passwd/bin/bash/sbin/nologin/sbin/nologin/var/adm/sbin/nologin/var/spool/lpd顯示字串大於等於4的# awk -F: '{i=1;while (i<=NF){if (length($i)>=4) {print $i}; i++}}' /etc/passwdrootroot/root/bin/bash/bin/sbin/nologindaemondaemon7.3 do-while 文法： do {statement1, statement2, ...} while (condition) 顯示字串小於等於4的（注意使用do語句時，先執行的是條件）# awk -F: '{i=1;do {print $i;i++}while(i<=3)}' /etc/passwdrootx0bin7.4 for 文法： for ( variable assignment; condition; iteration process) { statement1, statement2, ...} 例題： 1、顯示字串大於等於4的# awk -F: '{for(i=1;i<=NF;i++) {if (length($i)>=4) {print $i}}}' /etc/passwdrootroot/root/bin/bash2、顯示字串小於等於4的# awk -F: '{for(i=1;i<=3;i++) print $i}' /etc/passwdrootx0binfor迴圈還可以用來遍曆數組元素：文法： for (i in array) {statement1, statement2例如：顯示# awk -F: '$NF!~/^$/{BASH[$NF]++}END{for(A in BASH){printf "%-15s:%i\n",A,BASH[A]}}'/etc/passwd/bin/sync      :1/bin/bash      :20/sbin/nologin  :31/sbin/halt     :1/etc/tcsh      :1/sbin/shutdown :17.5 case 文法：switch (expression) { case VALUE or /REGEXP/: statement1, statement2,... default: statement1, ...} 7.6 break 和 continue 常用於迴圈或case語句中 7.7 next 提前結束對本行文本的處理，並接著處理下一行；例如，下面的命令將顯示其ID號為奇數的使用者： # awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwdbin 1adm 3sync 5halt 7news 9operator 11八、awk中使用數組 8.1 數組 array[index-expression] index-expression可以使用任一字元串；需要注意的是，如果某資料群組元素事先不存在，那麼在引用其時，awk會自動建立此元素並初始化為空白串；因此，要判斷某資料群組中是否存在某元素，需要使用index in array的方式。要遍曆數組中的每一個元素，需要使用如下的特殊結構： for (var in array) { statement1, ... } 顯示各個shell的個數和# awk -F: '{shell[$NF]++}END{for(A in shell) {print A,shell[A]}}' /etc/passwd 1/bin/sync 1/bin/bash 20/sbin/nologin 31/sbin/halt 1/etc/tcsh 1/sbin/shutdown 1其中，var用於引用數組下標，而不是元素值；統計tcp串連狀態的個數（$6也是最後一個欄位，可以使用$NF)# netstat -ant | awk '/^tcp/ {STATE[$NF]++} END {for(a in STATE) print a, STATE[a]}'LISTEN 11ESTABLISHED 2每出現一次被/^tcp/模式比對到的行，數組S[$NF]就加1，NF為當前匹配到的行的最後一個欄位，此處用其值做為數組S的元素索引；統計訪問本地的IP及個數# awk '{count[$1]++}END{for(ip in count) {printf "%-20s:%d\n",ip,count[ip]}}'/var/log/httpd/access_log192.168.10.1      ：1172.16.50.5       ：10用法與上一個例子相同，用於統計某記錄檔中IP地的訪問量8.2 刪除陣列變數 從關係數組中刪除數組索引需要使用delete命令。使用格式為： delete  array[index] 九、awk的內建函數 split(string, array [, fieldsep [, seps ] ]) 功能：將string表示的字串以fieldsep為分隔字元進行分隔，並將分隔後的結果儲存至array為名的數組中；數組下標為從0開始的序列； # netstat -ant | awk '/:80\>/{split($5,clients,":");IP[clients[1]]++}END{for(i in IP){print IP[i],i}}' | sort -rn | head -50 length([string]) 功能：返回string字串中字元的個數； substr(string, start [, length]) 功能：取string字串中的子串，從start開始，取length個；start從1開始計數； system(command) 功能：執行系統command並將結果返回至awk命令 systime() 功能：取系統目前時間 tolower(s) 功能：將s中的所有字母轉為小寫 toupper(s) 功能：將s中的所有字母轉為大寫 十、使用者自訂函數 自訂函數使用function關鍵字。格式如下： function F_NAME([variable]) { statements } 函數還可以使用return語句傳回值，格式為“return value”。