Shell Regex 字串處理

標籤：blog   io   使用   java   ar   檔案   div   log   amp   

一個Regex就是由一般字元（例如字元 a 到 z）以及特殊字元（稱為元字元）組成的文字模式。該模式描述在尋找文字主體時待匹配的一個或多個字串。Regex作為一個模板，將某個字元模式與所搜尋的字串進行匹配。\ 將下一個字元標記為一個特殊字元、或一個原義字元、或一個 後向引用、或一個八進位轉義符。例如，‘n‘ 匹配字元 "n"。‘\n‘ 匹配一個分行符號。序列 ‘\\‘ 匹配 "\" 而 "\(" 則匹配 "("。^ 匹配輸入字串的開始位置。$ 匹配輸入字串的結束位置。* 匹配前面的子運算式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。 * 等價於{0,}。+ 匹配前面的子運算式一次或多次。例如，‘zo+‘ 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等價於 {1,}。? 匹配前面的子運算式零次或一次。例如，"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等價於 {0,1}。{n} n 是一個非負整數。匹配確定的 n 次。例如，‘o{2}‘ 不能匹配 "Bob" 中的 ‘o‘，但是能匹配 "food" 中的兩個 o。{n,} n 是一個非負整數。至少匹配n 次。例如，‘o{2,}‘ 不能匹配 "Bob" 中的 ‘o‘，但能匹配 "foooood" 中的所有 o。‘o{1,}‘ 等價於 ‘o+‘。‘o{0,}‘ 則等價於 ‘o*‘。{n,m} m 和 n 均為非負整數，其中n <= m。最少匹配 n 次且最多匹配 m 次。 "o{1,3}" 將匹配 "fooooood" 中的前三個 o。‘o{0,1}‘ 等價於 ‘o?‘。請注意在逗號和兩個數之間不能有空格。? 當該字元緊跟在任何一個其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 後面時，匹配模式是非貪婪的。非貪婪模式儘可能少的匹配所搜尋的字串，而預設的貪婪模式則儘可能多的匹配所搜尋的字串。例如，對於字串 "oooo"，‘o+?‘ 將匹配單個 "o"，而 ‘o+‘ 將匹配所有 ‘o‘。. 匹配除 "\n" 之外的任何單個字元。要匹配包括 ‘\n‘ 在內的任何字元，請使用象 ‘[.\n]‘ 的模式。(pattern) 匹配pattern 並擷取這一匹配。所擷取的匹配可以從產生的 Matches 集合得到，在VBScript 中使用 SubMatches 集合，在Visual Basic Scripting Edition 中則使用 $0…$9 屬性。要匹配圓括弧字元，請使用 ‘\(‘ 或 ‘\)‘。(?:pattern) 匹配 pattern 但不擷取匹配結果，也就是說這是一個非擷取匹配，不進行儲存供以後使用。這在使用 "或" 字元 (|) 來組合一個模式的各個部分是很有用。例如， ‘industr(?:y|ies) 就是一個比 ‘industry|industries‘ 更簡略的運算式。(?=pattern) 正向預查，在任何匹配 pattern 的字串開始處匹配尋找字串。這是一個非擷取匹配，也就是說，該匹配不需要擷取供以後使用。例如， ‘Windows (?=95|98|NT|2000)‘ 能匹配 "Windows 2000" 中的 "Windows" ，但不能匹配 "Windows 3.1" 中的 "Windows"。預查不消耗字元，也就是說，在一個匹配發生後，在最後一次匹配之後立即開始下一次匹配的搜尋，而不是從包含預查的字元之後開始。(?!pattern) 負向預查，在任何不匹配Negative lookahead matches the search string at any point where a string not matching pattern 的字串開始處匹配尋找字串。這是一個非擷取匹配，也就是說，該匹配不需要擷取供以後使用。例如‘Windows (?!95|98|NT|2000)‘ 能匹配 "Windows 3.1" 中的 "Windows"，但不能匹配 "Windows 2000" 中的 "Windows"。預查不消耗字元，也就是說，在一個匹配發生後，在最後一次匹配之後立即開始下一次匹配的搜尋，而不是從包含預查的字元之後開始。x|y 匹配 x 或 y。例如，‘z|food‘ 能匹配 "z" 或 "food"。‘(z|f)ood‘ 則匹配 "zood" 或 "food"。[xyz] 字元集合。匹配所包含的任意一個字元。例如， ‘[abc]‘ 可以匹配 "plain" 中的 ‘a‘。[^xyz] 負值字元集合。匹配未包含的任一字元。例如， ‘[^abc]‘ 可以匹配 "plain" 中的‘p‘。[a-z] 字元範圍。匹配指定範圍內的任一字元。例如，‘[a-z]‘ 可以匹配 ‘a‘ 到 ‘z‘ 範圍內的任意小寫字母字元。[^a-z] 負值字元範圍。匹配任何不在指定範圍內的任一字元。例如，‘[^a-z]‘ 可以匹配任何不在 ‘a‘ 到 ‘z‘ 範圍內的任一字元。\b 匹配一個單詞邊界，也就是指單詞和空格間的位置。例如， ‘er\b‘ 可以匹配"never" 中的 ‘er‘，但不能匹配 "verb" 中的 ‘er‘。\B 匹配非單詞邊界。‘er\B‘ 能匹配 "verb" 中的 ‘er‘，但不能匹配 "never" 中的 ‘er‘。\cx 匹配由x指明的控制字元。例如， \cM 匹配一個 Control-M 或斷行符號符。 x 的值必須為 A-Z 或 a-z 之一。否則，將 c 視為一個原義的 ‘c‘ 字元。\d 匹配一個數字字元。等價於 [0-9]。\D 匹配一個非數字字元。等價於 [^0-9]。\f 匹配一個換頁符。等價於 \x0c 和 \cL。\n 匹配一個分行符號。等價於 \x0a 和 \cJ。\r 匹配一個斷行符號符。等價於 \x0d 和 \cM。\s 匹配任何空白字元，包括空格、定位字元、換頁符等等。等價於 [ \f\n\r\t\v]。\S 匹配任何非空白字元。等價於 [^ \f\n\r\t\v]。\t 匹配一個定位字元。等價於 \x09 和 \cI。\v 匹配一個垂直定位字元。等價於 \x0b 和 \cK。\w 匹配包括底線的任何單詞字元。等價於‘[A-Za-z0-9_]‘。\W 匹配任何非單詞字元。等價於 ‘[^A-Za-z0-9_]‘。\xn 匹配 n，其中 n 為十六進位轉義值。十六進位轉義值必須為確定的兩個數字長。例如， ‘\x41‘ 匹配 "A"。‘\x041‘ 則等價於 ‘\x04‘ & "1"。Regex中可以使用 ASCII 編碼。.\num 匹配 num，其中 num 是一個正整數。對所擷取的匹配的引用。例如，‘(.)\1‘ 匹配兩個連續的相同字元。\n 標識一個八進位轉義值或一個後向引用。如果 \n 之前至少 n 個擷取的子運算式，則 n 為後向引用。否則，如果 n 為八位元字 (0-7)，則 n 為一個八進位轉義值。\nm 標識一個八進位轉義值或一個後向引用。如果 \nm 之前至少有is preceded by at least nm 個擷取得子運算式，則 nm 為後向引用。如果 \nm 之前至少有 n 個擷取，則 n 為一個後跟文字 m 的後向引用。如果前面的條件都不滿足，若 n 和 m 均為八位元字 (0-7)，則 \nm 將匹配八進位轉義值 nm。\nml 如果 n 為八位元字 (0-3)，且 m 和 l 均為八位元字 (0-7)，則匹配八進位轉義值 nml。\un 匹配 n，其中 n 是一個用四個十六進位數字表示的 Unicode 字元。例如， \u00A9 匹配著作權符號 (?)。GrepRegex要用好grep這個工具，其實就是要寫好Regex，所以這裡不對grep的所有功能進行執行個體講解，只列幾個例子，講解一個Regex的寫法。$ ls -l | grep ‘^a‘ 通過管道過濾ls -l輸出的內容，只顯示以a開頭的行。$ grep ‘test‘ d* 顯示所有以d開頭的檔案中包含test的行。$ grep ‘test‘ aa bb cc 顯示在aa，bb，cc檔案中匹配test的行。$ grep ‘[a-z]\{5\}‘ aa 顯示所有包含每個字串至少有5個連續小寫字元的字串的行。$ grep ‘w\(es\)t.*\1‘ aa 如果west被匹配，則es就被儲存到記憶體中，並標記為1，然後搜尋任意個字元（.*），這些字元後面緊跟著另外一個es（\1），找到就顯示該行。如果用egrep或grep -E，就不用"\"號進行轉義，直接寫成‘w(es)t.*\1‘就可以了。grepRegex元字元集（基本集）^ 錨定行的開始 如：‘^grep‘匹配所有以grep開頭的行。$ 錨定行的結束 如：‘grep$‘匹配所有以grep結尾的行。. 匹配一個非分行符號的字元 如：‘gr.p‘匹配gr後接一個任一字元，然後是p。* 匹配零個或多個先前字元 如：‘*grep‘匹配所有一個或多個空格後緊跟grep的行。 .*一起用代表任一字元。[] 匹配一個指定範圍內的字元，如‘[Gg]rep‘匹配Grep和grep。[^] 匹配一個不在指定範圍內的字元，如：‘[^A-FH-Z]rep‘匹配不包含A-R和T-Z的一個字母開頭，緊跟rep的行。\(..\) 標記匹配字元，如‘\(love\)‘，love被標記為1。\< 錨定單詞的開始，如:‘\> 錨定單詞的結束，如‘grep\>‘匹配包含以grep結尾的單詞的行。x\{m\} 重複字元x，m次，如：‘0\{5\}‘匹配包含5個o的行。x\{m,\} 重複字元x,至少m次，如：‘o\{5,\}‘匹配至少有5個o的行。x\{m,n\} 重複字元x，至少m次，不多於n次，如：‘o\{5,10\}‘匹配5--10個o的行。\w 匹配文字和數字字元，也就是[A-Za-z0-9]，如：‘G\w*p‘匹配以G後跟零個或多個文字或數字字元，然後是p。\W \w的反置形式，匹配一個或多個非單詞字元，如點號句號等。\b 單詞鎖定符，如: ‘\bgrepb\‘只匹配grep。 Shell字串處理構造字串直接構造STR_ZERO=helloSTR_FIRST="i am a string"STR_SECOND=‘success‘重複多次#repeat the first parm($1) by $2 timesstrRepeat(){local x=$2if [ "$x" == "" ]; thenx=0filocal STR_TEMP=""while [ $x -ge 1 ];doSTR_TEMP=`printf "%s%s" "$STR_TEMP" "$1"`x=`expr $x - 1`doneecho $STR_TEMP}舉例：STR_REPEAT=`strRepeat "$USER_NAME" 3`echo "repeat = $STR_REPEAT"賦值與拷貝直接賦值與構造字串一樣USER_NAME=terry從變數賦值ALIASE_NAME=$USER_NAME聯結直接聯結兩個字串STR_TEMP=`printf "%s%s" "$STR_ZERO" "$USER_NAME"`使用printf可以進行更複雜的聯結求長求字元數(char)COUNT_CHAR=`echo "$STR_FIRST" | wc -m`echo $COUNT_CHAR求位元組數(byte)COUNT_BYTE=`echo "$STR_FIRST" | wc -c`echo $COUNT_BYTE求字數(word)COUNT_WORD=`echo "$STR_FIRST" | wc -w`echo $COUNT_WORD比較相等比較str1 = str2不等比較str1 != str2舉例：if [ "$USER_NAME" = "terry" ]; thenecho "I am terry"fi小於比較# return 0 if the two string is equal, return 1 if $1 < $2, else 2 strCompare() { local x=0 if [ "$1" != "$2" ]; then x=2 local TEMP=`printf "%s\n%s" "$1" "$2"` local TEMP2=`(echo "$1"; echo "$2") | sort` if [ "$TEMP" = "$TEMP2" ]; then x=1 fi fi echo $x }測試判空-z str判非空-n str是否為數字# return 0 if the string is num, otherwise 1strIsNum(){local RET=1if [ -n "$1" ]; thenlocal STR_TEMP=`echo "$1" | sed ‘s/[0-9]//g‘`if [ -z "$STR_TEMP" ]; thenRET=0 fifiecho $RET}舉例：if [ -n "$USER_NAME" ]; thenecho "my name is NOT empty"fiecho `strIsNum "9980"`分割以符號＋為準，將字元分割為左右兩部分使用sed舉例：命令 date --rfc-3339 seconds 的輸出為2007-04-14 15:09:47+08:00取其＋左邊的部分date --rfc-3339 seconds | sed ‘s/+[0-9][0-9]:[0-9][0-9]//g‘輸出為2007-04-14 15:09:47取+右邊的部分date --rfc-3339 seconds | sed ‘s/.*+//g‘輸出為08:00以空格為分割符的字串分割使用awk舉例：STR_FRUIT="Banana 0.89 100"取第3欄位echo $STR_FRUIT | awk ‘{ print $3; }‘子字串字串1是否為字串2的子字串# return 0 is $1 is substring of $2, otherwise 1strIsSubstring(){local x=1case "$2" in*$1*) x=0;;esacecho $x}

　　

Shell Regex 字串處理