Linux sort uniq awk head 完成訪問日誌統計排序功能__Linux

我們開發時候經常會統計一些訪問日誌，訪問日誌中的url是海量的，並且好多是重複內容。以url為例，統計url中出現頻率次數前5的url，並按出現次數的降序排序。

linux命令：cat url.log | sort | uniq -c |sort -n -r -k 1 -t   ' ' | awk -F  '//'  '{print $2}' | head -5

現在來一一分析這些命令組合的含義。

0）訪問日誌範例

1) cat  t1.log

表示對data檔案中的內容進行排序。sort命令是對於每一行的內容根據字典序（ASCII碼）進行排序，這樣可以保證重複的記錄時相鄰的。

2) cat  t1.log | sort | uniq -c

這裡，通過管道（|）將左邊部分的命令的輸出作為右邊部分的輸入。uniq -c 表示合并相鄰的重複記錄，並統計重複數。因為uniq -c 只會合并相鄰的記錄，所以在使用該命令之前需要先排序。

3) cat  t1.log | sort | uniq -c | sort -k 1 -n -r

經過uniq -c 處理之後的資料格式形如"2 data"，第一個欄位是數字，表示重複的記錄數；第二個欄位為記錄的內容。我們將對此內容進行排序。sort -k 1表示對於每行的第一個欄位進行排序，這裡即指代表重複記錄數的那個欄位。因為sort命令的預設排序是按照ASCII，這就會導致按從大到小進行排序時，數值2會排在數值11的前面，所以需要使用-n 參數指定sort命令按照數值大小進行排序。-r 表示逆序，即按照從大到小的順序進行排序。

4) cat  t1.log | sort  | uniq -c | sort -k 1 -n -r | awk -F '//'  '{print  $2}'

經過sort data | uniq -c | sort -k 1 -n -r 處理後的文本是 http://192.168.1.100 這樣的格式，我們需要的結果是192.168.1.100這樣的格式，需要去掉http://這些欄位，採用awk才處理，awk -F '//' 是將http://192.168.1.100分組成2部分 http://  和 192.168.1.100，{print  $2}的作用是取數組的第二部分，即192.168.1.100

5) cat  t1.log | sort | uniq -c | sort -k 1 -n -r | awk -F '//'  '{print  $2}'| head -5

head 命令表示選取文本的前x行。通過head -5 就可以得到排序結果中前五行的內容。

6）上面http://192.168.1.100這樣日誌格式只是一個簡單的樣本，實際中的格式會比較複雜 如：/Get   http://192.168.1.100  /auth, 我們可以通過awk -F 或者cut  -k 命令來截取url。詳情參考awk、cut 命令使用方法。

參考文獻：http://www.linuxidc.com/Linux/2011-01/31347.htm