Shell中的grep、awk和sed的常用命令和文法

Grep的常用命令文法1. 雙引號引用和單引號引用

在g r e p命令中輸入字串參數時，最好將其用雙引號括起來。例如：”m y s t r i n g”。這樣做有兩個原因，一是以防被誤解為 s h e l l命令，二是可以用來尋找多個單片語成的字串，例如：”jet plane”，如果不用雙引號將其括起來，那麼單詞 p l a n e將被誤認為是一個檔案，查詢結果將返回”檔案不存在”的錯誤資訊。

在調用變數時，也應該使用雙引號，諸如： g r e p”$ M Y VA R”檔案名稱，如果不這樣，將

沒有返回結果。

在調用模式比對時，應使用單引號.[root@mypc ]# echo `grep 123 111.txt`  (#注意是反單引號)

2. 常用的g r e p選項有：

-c   只輸出匹配行的計數。

-i   不區分大小寫（只適用於單字元）。

-h   查詢多檔案時不顯示檔案名稱。

-l   查詢多檔案時只輸出包含匹配字元的檔案名稱。

-n   顯示匹配行及行號。

-s   不顯示不存在或無匹配文本的錯誤資訊。

-v   顯示不包含匹配文本的所有行。

3. 特殊的–在多個檔案中進行查詢

$ grep “sort”*.doc     ( #在目前的目錄下所有. d o c檔案中尋找字串”s o r t”)

 

$ grep “sort it” *      (#或在所有檔案中查詢單詞”sort it”)

接下來的所有樣本是指在單個檔案中進行查詢

4. 行匹配

$ grep -c “48″ data.f

$ 4                      (#g r e p返回數字4，意義是有4行包含字串”4 8″。)

$ grep “48″ data.f          (#顯示包含”4 8″字串的4行文本)

5. 顯示滿足匹配模式的所有行行數：

[root@mypc oid2000]# grep -n 1234 111.txt

1:1234

3:1234ab

6. 精確匹配

[root@mypc oid2000]# grep “1234\>” 111.txt

1234

7. 查詢空行，查詢以某個條件開頭或者結尾的行。

結合使用^和$可查詢空行。使用- n參數顯示實際行數

[root@mypc oid2000]# grep -n “^$” 111.txt    (返回結果 2:   #說明第二行是空行)

[root@mypc oid2000]# grep -n “^abc” 111.txt （#查詢以abc開頭的行）

[root@mypc oid2000]# grep -n “abc$” 111.txt  (#查詢以abc結尾的行)

8. 匹配特殊字元,查詢有特殊含義的字元，諸如$ . ‘ ” * [] ^ | \ + ? ,必須在特定字元前加\。

[root@mypc oid2000]# grep  “\.” 111.txt  (#在111.txt中查詢包含”.”的所有行)

[root@mypc oid2000]# grep  “my\.conf”  111.txt (#查詢有檔案名稱my. c o n f的行)

9. 目錄的查詢

[root@mypc oid2000]# ls -l |grep “^d”      (#如果要查詢目錄列表中的目錄)

[root@mypc oid2000]# ls -l |grep “^d[d]”    (#在一個目錄中查詢不包含目錄的所有檔案)

[root@mypc]# ls -l |grpe “^d…..x..x” (#查詢其他使用者和使用者群組成員有可執行許可權的目錄集合)

Awk的常用命令文法

awk命令擅長格式化報文或從一個大的文字檔中抽取資料包,下面是該命令的基本文法

awk [-F filed-separator] “commands” input-file(s)

[ - F域分隔字元]是可選的,a w k使用空格作為預設的域分隔字元，如果在要處理的檔案中是以冒號作為分割域的(如passwd檔案),則在處理的時候要這樣指明 awk -F: command input-file(s)

1.1域和記錄

a w k執行時，其瀏覽域標記為$ 1，$ 2 . . . $ n。這種方法稱為域標識。使用$ 1 , $ 3表示參照第1和第3域，注意這裡用逗號做域分隔。如果希望列印一個有 5個域的記錄的所有域，不必指明 $ 1 , $ 2 , $ 3 , $ 4 , $ 5，可使用$ 0，意即所有域。

1.2儲存a w k輸出

$ awk ‘{print $0}’ input-files > out-files    (#重新導向儲存輸出)

$ awk ‘{print $0}’ input-files | tee out-files  (#使用t e e命令，輸出到檔案的同時輸出到螢幕)

1.3 常用的awk命令舉例

[root@mypc /]# awk ‘$0 ~ /user/’ /etc/passwd  (#如果某域含有user就將該行列印出來)

rpc:x:32:32:Portmapper RPC user:/:/sbin/nologin

rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

[root@mypc /]# awk ‘/user/’ /etc/passwd      (#同上)

[root@mypc /]# awk -F: ‘{if ($5 ~ /user/) print $0}’ /etc/passwd (#如第五域有user則輸出該行)

rpc:x:32:32:Portmapper RPC user:/:/sbin/nologin

[root@mypc /]# ifconfig | awk ‘/inet/{print $2}’  (#從ifconfig的輸出中抽取含inet的行並列印第二域)

[root@mypc /]# ifconfig | awk ‘/inet/{print $2}’ | awk -F: ‘{print $2}’ (#在上面的基礎上再抽取，這個命令可以讓你直接得到原生ip地址)

Sed的常用命令文法

Sed是一個非互動性文字資料流編輯器。它編輯檔案或標準輸入匯出的文本拷貝。

1．行的匹配

[root@mypc /]# sed -n ‘2p’ /etc/passwd  列印出第2行

[root@mypc /]# sed -n ‘1,3p’ /etc/passwd 列印出第1到第3行

[root@mypc /]# sed -n ‘$p’ /etc/passwd   列印出最後一行

[root@mypc /]# sed -n ‘/user/’p /etc/passwd 列印出含有user的行

rpc:x:32:32:Portmapper RPC user:/:/sbin/nologin

rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

[root@mypc /]# sed -n ‘/\$/’p /etc/passwd  列印出含有$元字元的行，$意為最後一行

2．插入文本和附加文本(插入新行)

[root@mypc /]# sed -n ‘/FTP/p’ /etc/passwd  列印出有FTP的行

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

[root@mypc /]# sed ‘/FTP/ a\ 456′ /etc/passwd 在含有FTP的行後面新插入一行，內容為456

[root@mypc /]# sed ‘/FTP/ i\ 123′ /etc/passwd在含有FTP的行前面新插入一行，內容為123

[root@mypc /]# sed ‘/FTP/ i\ “123″‘ /etc/passwd在含有FTP的行前面新插入一行，內容為”123″

[root@mypc /]# sed ‘5 a\ 123′ /etc/passwd         在第5行後插入一新行，內容為123

[root@mypc /]# sed ‘5 i\ “12345″‘ /etc/passwd   在第5行前插入一新行，內容為”12345″

3．刪除文本

[root@mypc /]# sed ‘1d’ /etc/passwd  刪除第1行

[root@mypc /]# sed ‘1,3d’ /etc/passwd  刪除第1至3行

[root@mypc /]# sed ‘/user/d’ /etc/passwd  刪除帶有user的行

4． 替換文本,替換命令用替換模式替換指定模式，格式為：

[ a d d r e s s [，address]] s/ pattern-to-find /replacement-pattern/[g p w n]

[root@mypc /]# sed ’s/user/USER/’ /etc/passwd     將第1個user替換成USER,g表明全域替換

[root@mypc /]# sed ’s/user/USER/g’ /etc/passwd    將所有user替換成USER

[root@mypc /]# sed ’s/user/#user/’ /etc/passwd    將第1個user替換成#user,如用於屏蔽作用

[root@mypc /]# sed ’s/user//’ /etc/passwd         將第1個user替換成空

[root@mypc /]# sed ’s/user/&11111111111111/’ /etc/passwd  如果要附加或修改一個很長的字串，可以使用（ &）命令，&命令儲存發現模式以便重新調用它，然後把它放在替換字串裡面，這裡是把&放前面

[root@mypc /]# sed ’s/user/11111111111111&/’ /etc/passwd  這裡是將&放後面

5. 快速一行命令

下面是一些一行命令集。（[ ]表示空格，[ ]表示t a b鍵）

‘s / \ . $ / / g’ 刪除以句點結尾行

‘-e /abcd/d’ 刪除包含a b c d的行

‘s / [ ] [ ] [ ] * / [ ] / g’ 刪除一個以上空格，用一個空格代替

‘s / ^ [ ] [ ] * / / g’ 刪除行首空格

‘s / \ . [ ] [ ] * / [ ] / g’ 刪除句點後跟兩個或更多空格，代之以一個空格

‘/ ^ $ / d’ 刪除空行

‘s / ^ . / / g’ 刪除第一個字元

‘s /COL \ ( . . . \ ) / / g’ 刪除緊跟C O L的後三個字母

‘s / ^ \ / / / g’ 從路徑中刪除第一個\

‘s / [ ] / [ ] / / g’ 刪除所有空格並用t a b鍵替代

‘S / ^ [ ] / / g’ 刪除行首所有t a b鍵

‘s / [ ] * / / g’ 刪除所有t a b鍵

如果使用s e d對檔案進行過濾，最好將問題分成幾步，分步執行，且邊執行邊測試結果。

經驗告訴我們，這是執行一個複雜任務的最有效方式。