linux下shell的awk命令使用方法

awk是linux中非常強大的文本分析工具。簡單來說，awk就是把檔案逐行的讀入，以空格為預設分隔符號將每行分割，分割的部分再進行各種分析處理。

awk的基本用法

awk使用的基本形式如下

awk '{pattern + action}' {filenames}

其中 pattern 表示 AWK 在資料中尋找的內容，而 action 是在找到匹配內容時所執行的一系列命令。花括弧（{}）不需要在程式中始終出現，但它們用於根據特定的模式對一系列指令進行分組。 pattern就是要表示的Regex，用斜杠括起來。

在使用中，我們一般會採用如下用法

awk [-F  field-separator]  'commands'  input-file(s)

其中，commands 是真正awk命令，[-F域分隔字元]是可選的。 input-file(s) 是待處理的檔案。在awk中，檔案的每一行中，由域分隔字元分開的每一項稱為一個域。通常，在不指名-F域分隔字元的情況下，預設的域分隔字元是空格。
通常，awk是以檔案的一行為處理單位的。awk每接收檔案的一行，然後執行相應的命令，來處理文本。

awk的使用樣本

以/etc/passwd檔案為例進行講解，當執行cat /etc/passwd命令時，會得到如下內容，這裡只取前4行

# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/bin/sh
bin:x:2:2:bin:/bin:/bin/sh
sys:x:3:3:sys:/dev:/bin/sh

1、awk+action用法

我們利用awk命令取出賬戶名，得到如下輸出

#cat /etc/passwd |awk  -F ':'  '{print $1}' 
root
daemon
bin
sys

解釋上述awk命令的含義：讀入有’\n’分行符號分割的一條記錄（逐行讀入），然後將記錄按指定的域分隔字元劃分域（-F指定域分隔字元為’:'），執行命令（print $1），$0則表示所有域,$1表示第一個域,$n表示第n個域。預設域分隔字元是”空白鍵” 或 “[tab]鍵”,所以$1表示使用者名稱，後面的以此類推。

因此如果要同時列印/etc/passwd的賬戶和賬戶對應的shell，並用逗號分割，可以使用如下命令

# cat /etc/passwd |awk  -F ':'  '{print $1","$7}'
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh

2、awk+pattern用法

搜尋/etc/passwd有root關鍵字的所有行

#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

這種是pattern的使用樣本，匹配了pattern(這裡是root)的行才會執行action(沒有指定action，預設輸出每行的內容)。
匹配模式一般在寫法是/pattern/，即

awk '/pattern/'

搜尋支援正則，例如找root開頭的: awk -F: ‘/^root/’ /etc/passwd

3、awk+pattern+action用法

搜尋/etc/passwd有root關鍵字的所有行，並顯示對應的shell

# awk -F: '/root/{print $7}' /etc/passwd            
/bin/bash

這裡指定了action{print $7}

awk的的擴充用法

1、awk內建變數

ARGC               命令列參數個數
ARGV               命令列參數排列
ENVIRON            支援隊列中系統內容變數的使用
FILENAME           awk瀏覽的檔案名稱
FNR                瀏覽檔案的記錄數
FS                 設定輸入欄位分隔字元，等價於命令列 -F選項
NF                 瀏覽記錄的域的個數
NR                 已讀的記錄數
OFS                輸出域分隔字元
ORS                輸出記錄分隔字元
RS                 控制記錄分隔字元

下面介紹一些簡單的用法：

1、輸出檔案第二行

awk 'NR==2'

2、輸出檔案第二行到第四行

awk 'NR==2,NR==4'

3、刪除所有的空行

awk NF

4、輸出檔案的最後一行

awk 'END { print }'

2、print和printf

awk中同時提供了print和printf兩種列印輸出的函數。

其中print函數的參數可以是變數、數值或者字串。字串必須用雙引號引用，參數用逗號分隔。如果沒有逗號，參數就串聯在一起而無法區分。這裡，逗號的作用與輸出檔案的分隔字元的作用是一樣的，只是後者是空格而已。

printf函數，其用法和c語言中printf基本相似,可以格式化字串,輸出複雜時，printf更加好用，代碼更易懂。

awk編程

 變數和賦值

除了awk的內建變數，awk還可以自訂變數。

下面統計/etc/passwd的賬戶人數

awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
......
user count is  40count是自訂變數。之前的action{}裡都是只有一個print,其實print只是一個語句，而action{}可以有多個語句，以;號隔開。

 

這裡沒有初始化count，雖然預設是0，但是妥當的做法還是初始化為0:

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is  0
root:x:0:0:root:/root:/bin/bash
...
[end]user count is  40

統計某個檔案夾下的檔案佔用的位元組數

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'[end]size is  8657198

如果以M為單位顯示:

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' [end]size is  8.25889 M注意，統計不包括檔案夾的子目錄。

 

條件陳述式

 awk中的條件陳述式是從C語言中借鑒來的，見如下聲明方式：

if (expression) {
    statement;
    statement;
    ... ...
}

if (expression) {
    statement;
} else {
    statement2;
}

if (expression) {
    statement1;
} else if (expression1) {
    statement2;
} else {
    statement3;
}

統計某個檔案夾下的檔案佔用的位元組數,過濾4096大小的檔案(一般都是檔案夾):

ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}' [end]size is  8.22339 M

迴圈語句

awk中的迴圈語句同樣借鑒於C語言，支援while、do/while、for、break、continue，這些關鍵字的語義和C語言中的語義完全相同。

 

數組

  因為awk中數組的下標可以是數字和字母，數組的下標通常被稱為關鍵字(key)。值和關鍵字都儲存在內部的一張針對key/value應用hash的表格裡。由於hash不是順序儲存，因此在顯示數組內容時會發現，它們並不是按照你預料的順序顯示出來的。數組和變數一樣，都是在使用時自動建立的，awk也同樣會自動判斷其儲存的是數字還是字串。一般而言，awk中的數組用來從屬記錄中收集資訊，可以用於計算總和、統計單詞以及跟蹤模板被匹配的次數等等。

 

顯示/etc/passwd的賬戶

awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
0 root
1 daemon
2 bin
3 sys
4 sync
5 games

......這裡使用for迴圈遍曆數組