Linux基礎篇之文本、資料流處理命令

來源:互聯網
上載者:User

1 awk:文本和資料處理工具

--------------------------------------------------------------------------------
awk擅長於對資料進行分析並產生報告,簡單來說awk就是把檔案逐行的讀入,以空格為預設分隔符號將每行切片,切開的部分再進行各種分析處理。

使用方法:awk '{pattern + action}' {filenames} 

其中pattern 表示awk 在資料中尋找的內容,而action是在找到匹配內容時所執行的一系列命令。花括弧({})不需要在程式中始終出現,但它們用於根據特定的模式對一系列指令進行分組。pattern就是要表示的Regex,用斜杠括起來。準備執行個體操作檔案:netstat  -t >> netstat.txt

--------------------------------------------------------------------------------
1.1 列印輸出:print,格式化列印輸出:printf

--------------------------------------------------------------------------------
awk '{print$1, $4}' netstat.txt
awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt


1.2 過濾記錄:awk '$3==0 && $6=="LISTEN"' netstat.txt

--------------------------------------------------------------------------------
其中的“==”為比較子。其他比較子:!=,>, <, >=, <=
awk '$3>0 {print $0}' netstat.txt
加入表頭:內建變數NR
awk '$3==0 && $6=="LISTEN" || NR==1 ' netstat.txt
再加上格式化輸出                   

awk '$3 ==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat.txt
ps:awk的內建變數
$0
 目前記錄(這個變數中存放著整個行的內容)
 
$1~$n
 目前記錄的第n個欄位,欄位間由FS分隔
 
FS
 輸入欄位分隔符號預設是空格或Tab
 
NF
 目前記錄中的欄位個數,就是有多少列
 
NR
 

已經讀出的記錄數,就是行號,從1開始,如果有多個檔案話,這個值也是不斷累加中。
 
FNR
 目前記錄數,與NR不同的是,這個值會是各個檔案自己的行號
 
RS
 輸入的記錄分隔字元,預設為分行符號
 
OFS
 輸出欄位分隔符號,預設也是空格
 
ORS
 輸出的記錄分隔字元,預設為分行符號
 
FILENAME
 當前輸入檔案的名字
 
輸出行號:awk '$3 ==0 && $6=="ESTABLISHED"|| NR==1 {printf "%02s %s %-20s %-20s %s\n",NR, FNR,$4,$5,$6}' netstat.txt


指定分隔字元:awk 'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd
或者awk -F: '{print $1,$3,$6}' /etc/passwd
以\t作為分隔字元輸出:awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd


1.3 字串匹配:~表示匹配模式開始,Regex匹配。

--------------------------------------------------------------------------------
awk '$6 ~ /TIME/ || NR ==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
awk '$6 ~ /ESTABLISHED/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
awk '/LISTEN/' netstat.txt
使用“/TIME|ESTABLISHED/” 來匹配TIME 或者ESTABLISHED :
awk '$6 ~ /FIN|TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
模式取反:!~
awk '$6 !~ /TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt
或者awk '!/WAIT/' netstat.txt


1.4 拆分檔案:使用資料流重新導向”>”

--------------------------------------------------------------------------------
awk 'NR!=1 {print > $6}' netstat.txt      NR!=1表示不處理表頭
把指定的列輸出到檔案:  awk 'NR!=1{print $4,$5 > $6}' netstat.txt
使用程式流進行條件拆分:if else
awk 'NR!=1{if($6 ~ /TIME|ESTABLISHED/) print > "1.txt";
else if($6 ~ /LISTEN/) print > "2.txt";
else print > "3.txt"}' netstat.txt


1.5 統計

--------------------------------------------------------------------------------
計算所有的C檔案,CPP檔案和H檔案的檔案大小總和:
ls -l *.cpp *.c*.h | awk '{sum+=$5} END {print sum}'
統計各個connection狀態的用法:使用數組
awk 'NR!=1{a[$6]++;} END {for (i in a) print i ", " a[i];}' netstat.txt
統計每個使用者的進程的佔了多少記憶體:
ps aux| awk 'NR!=1{a[$1]+=$6;} END { for(i ina) print i ", " a[i]"KB";}'


數組:因為awk中數組的下標可以是數字和字母,數組的下標通常被稱為關鍵字(key)。值和關鍵字都儲存在內部的一張針對key/value應用hash的表格裡。由於hash不是順序儲存,因此在顯示數組內容時會發現,它們並不是按照你預料的順序顯示出來的。數組和變數一樣,都是在使用時自動建立的,awk也同樣會自動判斷其儲存的是數字還是字串。一般而言,awk中的數組用來從屬記錄中收集資訊,可以用於計算總和、統計單詞以及跟蹤模板被匹配的次數等等。


1.6 使用指令碼進行文本、資料處理

--------------------------------------------------------------------------------
BEGIN、END關鍵字:BEGIN表示處理所有行之前的標識,END表示處理完所有行後的標識,具體文法:
BEGIN{ 這裡面放的是執行前的語句}
END {這裡面放的是處理完所有的行後要執行的語句}
{這裡面放的是處理每一行時要執行的語句}
執行個體操作檔案:cat cal.awk
#!/bin/awk -f
#運行前
BEGIN {
  math= 0
  english= 0
  computer= 0


  printf"NAME    NO.    MATH  ENGLISH  COMPUTER  TOTAL\n"
  printf"---------------------------------------------\n"
}
#運行中
{
  math+=$3
  english+=$4
  computer+=$5
  printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#運行後
END{
  printf"---------------------------------------------\n"
  printf "TOTAL:%10d %8d %8d \n", math, english, computer
  printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR,computer/NR
}
執行:awk -f cal.awk score.txt


1.7 變數聲明和環境變數:使用-v參數進行變數聲明,ENVIRON關鍵字表示環境變數

--------------------------------------------------------------------------------
$ x=5
$ y=10
$ export y                          #y被export為環境變數

$ echo $x $y
5    10
$awk -v val=$x '{print $1, $2, $3, $4+val, $5+ENVIRON["y"]}' OFS="\t" score.txt

  • 1
  • 2
  • 3
  • 4
  • 下一頁

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.