grep用法詳解:grep與Regex [轉]

標籤：

Regex與萬用字元不一樣,它們表示的含義並不相同.

grep命令的選項用於對搜尋過程進行補充說明。grep命令的模式十分靈活，可以是字串、變數，還可以是Regex。

無論模式是何種形式，只要模式中包含了空格，就需要使用雙引號或單引號將模式引起來。

‘搜尋字串’是Regex，注意為了避免shell的元字元對Regex的影響，請用單引號（’’）括起來，千萬不要用雙引號括起來（"”）或者不括起來。
Regex只是一種標記法,只要工具支援這種標記法， 那麼該工具就可以處理Regex的字串。vim、grep、awk 、sed 都支援Regex，也正是因為由於它們支援正則，才顯得它們強大；

1基礎Regex
grep 工具，以前介紹過。
grep -[acinv]   ‘搜尋內容串‘   filename
-a  將二進位文檔以文本方式處理
-c  計算找到的符合行的次數
-i  忽略大小寫
-n  順便輸出行號
-v  反向選擇，即顯示不包含匹配文本的所有行

-h 查詢多檔案時不顯示檔案名稱。
-l 查詢多檔案時只輸出包含匹配字元的檔案名稱。
-s 不顯示不存在或無匹配文本的錯誤資訊。
grep命令加- E參數，這一擴充允許使用擴充模式比對。

其中搜尋串可以是Regex!

---
先用例子說明問題：
以下為整理的grep Regex的大部分功能,詳細參見man 
grep: 要用好grep這個工具，其實就是要寫好Regex，所以這裡不對grep的所有功能進行執行個體講解，只列幾個例子，講解一個Regex的寫法。 
$ ls -l | grep ‘^a‘ 通過管道過濾ls -l輸出的內容，只顯示以a開頭的行。 
$ grep ‘test‘ d* 顯示所有以d開頭的檔案中包含test的行。 
$ grep ‘test‘ aa bb cc 顯示在aa，bb，cc檔案中匹配test的行。 
$ grep ‘[a-z]/{5/}‘ aa 顯示所有包含每個字串至少有5個連續小寫字元的字串的行。 
$ grep ‘w/(es/)t.*/1‘ aa 如果west被匹配，則es就被儲存到記憶體中，並標記為1，然後搜尋任意個字元（.*），這些字元後面緊跟著另外一個es（/1），找到就顯示該行。如果用egrep或grep -E，就不用"/"號進行轉義，直接寫成‘w(es)t.*/1‘就可以了。 

grepRegex元字元集（基本集） 
^ 錨定行的開始 如：‘^grep‘匹配所有以grep開頭的行。 
$ 錨定行的結束 如：‘grep$‘匹配所有以grep結尾的行。 
. 匹配一個非分行符號的字元 如：‘gr.p‘匹配gr後接一個任一字元，然後是p。 
* 匹配零個或多個先前字元 如：‘*grep‘匹配所有一個或多個空格後緊跟grep的行。 
.*一起用代表任一字元。 
[] 匹配一個指定範圍內的字元，如‘[Gg]rep‘匹配Grep和grep。 
[^] 匹配一個不在指定範圍內的字元，如：‘[^A-FH-Z]rep‘匹配不包含A-R和T-Z的一個字母開頭，緊跟rep的行。 
/(../) 標記匹配字元，如‘/(love/)‘，love被標記為1。 
/< 錨定單詞的開始，
/> 錨定單詞的結束，如‘grep/>‘匹配包含以grep結尾的單詞的行。 
x/{m/} 重複字元x，m次，如：‘o/{5/}‘匹配包含5個o的行。 x/{m,/} 重複字元x,至少m次，如：‘o/{5,/}‘匹配至少有5個o的行。 
x/{m,n/} 重複字元x，至少m次，不多於n次，如：‘o/{5,10/}‘匹配5--10個o的行。 
/w 匹配文字和數字字元，也就是[A-Za-z0-9_]，如：‘G/w*p‘匹配以G後跟零個或多個文字或數字字元，然後是p。 
/W /w的反置形式，匹配一個或多個非單詞字元，如點號句號等。 
/b 單詞鎖定符，如: ‘/bgrep/b‘只匹配grep。 

關於匹配的執行個體：
grep -c "48" test.txt 統計所有以“48”字元開頭的行有多少
grep -i "May" test.txt 不區分大小寫尋找“May”所有的行）
grep -n "48" test.txt 顯示行號；顯示匹配字元“48”的行及行號，相同於 nl test.txt |grep 48）
grep -v "48" test.txt 顯示輸出沒有字元“48”所有的行）
grep "471" test.txt 顯示輸出字元“471”所在的行）
grep "48;" test.txt 顯示輸出以字元“48”開頭，並在字元“48”後是一個tab鍵所在的行
grep "48[34]" test.txt 顯示輸出以字元“48”開頭，第三個字元是“3”或是“4”的所有的行）
grep "^[^48]" test.txt 顯示輸出行首不是字元“48”的行）
grep "[Mm]ay" test.txt 設定大小寫尋找：顯示輸出第一個字元以“M”或“m”開頭，以字元“ay”結束的行）
grep "K…D" test.txt 顯示輸出第一個字元是“K”，第二、三、四是任一字元，第五個字元是“D”所在的行）
grep "[A-Z][9]D" test.txt 顯示輸出第一個字元的範圍是“A-D”，第二個字元是“9”，第三個字元的是“D”的所有的行
grep "[35]..1998" test.txt 顯示第一個字元是3或5，第二三個字元是任意，以1998結尾的所有行
grep "4/{2,/}" test.txt 模式出現幾率尋找：顯示輸出字元“4”至少重複出現兩次的所有行
grep "9/{3,/}" test.txt 模式出現幾率尋找：顯示輸出字元“9”至少重複出現三次的所有行
grep "9/{2,3/}" test.txt 模式出現幾率尋找：顯示輸出字元“9”重複出現的次數在一定範圍內，重複出現2次或3次所有行
grep -n "^$" test.txt 顯示輸出空行的行號
ls -l |grep "^d" 如果要查詢目錄列表中的目錄 同：ls -d *
ls -l |grep "^d[d]" 在一個目錄中查詢不包含目錄的所有檔案
ls -l |grpe "^d…..x..x" 查詢其他使用者和使用者群組成員有可執行許可權的目錄集合

更多的例子:
1
搜尋有the的行,並輸出行號
$grep -n ‘the‘ regular_express.txt
搜 索沒有the的行,並輸出行號
$grep -nv ‘the‘ regular_express.txt

2 利 用[]搜尋集合字元
[] 表示其中的某一個字元 ，例如[ade] 表示a或d或e
[email protected]:~/tmp$ grep -n ‘t[ae]st‘ regular_express.txt 
8:I can‘t finish the test.
9:Oh! the soup taste good!

可以用^符號做[]內的首碼，表示除[]內的字元之外的字 符。
比如搜尋oo前沒有g的字串所在的行. 使用 ‘[^g]oo‘ 作搜尋字串
[email protected]:~/tmp$ grep -n ‘[^g]oo‘ regular_express.txt 
2:apple is my favorite food.
3:Football game is not use feet only.
18:google is the best tools for search keyword.
19:goooooogle yes!

[] 內可以用範圍表示，比如[a-z] 表示小寫字母,[0-9] 表示0~9的數字, [A-Z] 則是大寫字母們。[a-zA-Z0-9]表示所有數字與英文字元。 當然也可以配合^來排除字元。
搜尋包含數位行
[email protected]:~/tmp$ grep -n ‘[0-9]‘ regular_express.txt 
5:However ,this dress is about $ 3183 dollars.
15:You are the best is menu you are the no.1.

行首與行尾字元 ^ $. ^ 表示行的開頭，$表示行的結尾( 不是字元，是位置）那麼‘^$’ 就表示空行,因為只有
行首和行尾。
這裡^與[]裡面使用的^意義不同。它表示^後面的串是在行的開頭。
比如搜尋the在開頭的行
[email protected]:~/tmp$ grep -n ‘^the‘ regular_express.txt 
12:the symbol ‘*‘ is represented as star.

搜尋以小寫字母開頭的行
[email protected]:~/tmp$ grep -n ‘^[a-z]‘ regular_express.txt 
2:apple is my favorite food.
4:this dress doesn‘t fit me.
10:motorcycle is cheap than car.
12:the symbol ‘*‘ is represented as star.
18:google is the best tools for search keyword.
19:goooooogle yes!
20:go! go! Let‘s go.
[email protected]:~/tmp$ 

搜尋開頭不是英文字母的行
[email protected]:~/tmp$ grep -n ‘^[^a-zA-Z]‘ regular_express.txt 
1:"Open Source" is a good mechanism to develop programs.
21:#I am VBird
[email protected]:~/tmp$ 

$表示它前面的串是在行的結尾，比如 ‘/.‘ 表示 . 在一行的結尾
搜尋末尾是.的行
[email protected]:~/tmp$ grep -n ‘/.$‘ regular_express.txt //. 是Regex的特殊符號，所以要用/轉義
1:"Open Source" is a good mechanism to develop programs.
2:apple is my favorite food.
3:Football game is not use feet only.
4:this dress doesn‘t fit me.
5:However ,this dress is about $ 3183 dollars.
6:GNU is free air not free beer.
.....

注意在MS的系統下產生的文字檔，換行會加上一個 ^M 字元。所以最後的字元會是隱藏的^M ,在處理Windows
下面的文本時要特別注意！
可以用cat dos_file | tr -d ‘/r‘ > unix_file 來刪除^M符號。 ^M==/r

那麼‘^$‘ 就表示只有行首行尾的空行拉！
搜尋空行
[email protected]:~/tmp$ grep -n ‘^$‘ regular_express.txt 
22:
23:
[email protected]:~/tmp$ 

搜尋非空行
[email protected]:~/tmp$ grep -vn ‘^$‘ regular_express.txt 
1:"Open Source" is a good mechanism to develop programs.
2:apple is my favorite food.
3:Football game is not use feet only.
4:this dress doesn‘t fit me.

grep用法詳解:grep與Regex [轉]