shell 字串 尋找 替換 正則 操作

工作中字串操作舉例
filename='/home/admin/jobs/CnClickstat/DFSLoader/loader.cfg'
#下面是使用shell字串操作
buName1=${filename#*/jobs/} #去除'/home/admin/jobs/CnClickstat/DFSLoader/loader.cfg'首碼得到'CnClickstat/DFSLoader/loader.cfg'
buName1=${buName1%%/*} #去除'CnClickstat/DFSLoader/loader.cfg'尾碼得到'CnClickstat'
echo $buName1

#下面用awk擷取需要的字串內容
buName2=`echo $filename | awk -F / '{printf("%s", $5)}'`;
echo $buName2

#下面使用cut擷取需要的字串內容
buName3=`echo $filename | cut -d / -f 5`;
echo $buName3

以上均能獲得結果：CnClickstat
字串操作舉例結束

在做shell批次程式時候，經常會涉及到字串相關操作。有很多命令語句，如：awk,sed都可以做字串各種操作。其實shell內建一系列操作符號，可以達到類似效果，大家知道，使用內部操作符會省略啟動外部程式等時間，因此速度會非常的快。

一、判斷讀取字串值
運算式
 含義
 
${var}
 變數var的值, 與$var相同
 

 
 
${var-DEFAULT}
 如果var沒有被聲明, 那麼就以$DEFAULT作為其值 *
 
${var:-DEFAULT}
 如果var沒有被聲明, 或者其值為空白, 那麼就以$DEFAULT作為其值 *
 

 
 
${var=DEFAULT}
 如果var沒有被聲明, 那麼就以$DEFAULT作為其值 *
 
${var:=DEFAULT}
 如果var沒有被聲明, 或者其值為空白, 那麼就以$DEFAULT作為其值 *
 

 
 
${var+OTHER}
 如果var聲明了, 那麼其值就是$OTHER, 否則就為null字串
 
${var:+OTHER}
 如果var被設定了, 那麼其值就是$OTHER, 否則就為null字串
 

 
 
${var?ERR_MSG}
 如果var沒被聲明, 那麼就列印$ERR_MSG *
 
${var:?ERR_MSG}
 如果var沒被設定, 那麼就列印$ERR_MSG *
 

 
 
${!varprefix*}
 匹配之前所有以varprefix開頭進行聲明的變數
 
${!varprefix@}
 匹配之前所有以varprefix開頭進行聲明的變數
 

加入了“*” 不是意思是： 當然, 如果變數var已經被設定的話, 那麼其值就是$var.

[chengmo@localhost ~]$ echo ${abc-'ok'}
ok
[chengmo@localhost ~]$ echo $abc

[chengmo@localhost ~]$ echo ${abc='ok'}
ok
[chengmo@localhost ~]$ echo $abc
ok

如果abc 沒有聲明“="還會給abc賦值。

[chengmo@localhost ~]$ var1=11;var2=12;var3=
[chengmo@localhost ~]$ echo${!v@}
var1 var2 var3
[chengmo@localhost ~]$ echo ${!v*}
var1 var2 var3

${!varprefix*}與${!varprefix@}相似，可以通過變數名前置詞字元，搜尋已經定義的變數,無論是否為空白值。

二、字串操作（長度，讀取，替換）

得到長度
代碼:

%x="abcd"
#方法一
%expr length $x
4
# 方法二
?o $
4
# 方法三
%expr "$x" : ".*"
4
# expr 的協助
# STRING : REGEXP anchored pattern match of REGEXP in STRING

尋找子串
代碼:

%expr index $x "b"
2
%expr index $x "a"
1
%expr index $x "b"
2
%expr index $x "c"
3
%expr index $x "d"
4

得到子字串
代碼:

# 方法一
# expr <string> startpos length
%expr substr "$x" 1 3
abc
%expr substr "$x" 1 5
abcd
%expr substr "$x" 2 5
bcd
# 方法二
# $
?o $
bcd
?o $
cd
?o $
abcd
?o $
ab
%pos=1
%len=2
?o $
bc

 

匹配Regex
代碼:

# 列印匹配長度
%expr match $x "."
1
%expr match $x "abc"
3
%expr match $x "bc"
0

 

字串的掐頭去尾
代碼:

%x=aabbaarealwwvvww
?o "$"
aabbaarealwwvv
?o "$"
aabbaareal
?o "$"
lwwvvww
?o "$"
bbaarealwwvvww

其中 , # 表示掐頭， 因為鍵盤上 # 在 $ 的左面。
其中 , % 表示%， 因為鍵盤上 % 在 $ 的右面。
單個的表示最小匹配，雙個表示最大匹配。
也就是說，當匹配的有多種方案的時候，選擇匹配的最大長度還是最小長度。

字串的替換
代碼:

%x=abcdabcd
?o $ # 只替換一個
bbcdabcd
?o $ # 替換所有
bbcdbbcd

不可以使用 regexp ， 只能用 * ? 的檔案擴充方式
 

三、效能比較

在shell中，通過awk,sed,expr等都可以實現，字串上述操作。下面我們進行效能比較。
[chengmo@localhost ~]$test='c:/windows/boot.ini'
[chengmo@localhost ~]$ time for i in $(seq 10000);doa=${#test};done;
real 0m0.173s
user 0m0.139s
sys 0m0.004s
[chengmo@localhost ~]$ time for i in $(seq 10000);do a=$(expr length$test);done;
real 0m9.734s
user 0m1.628s

象專業人員那樣截斷字串

儘管 basename 和 dirname 是很好的工具，但有時可能需要執行更進階的字串“截斷”，而不只是標準的路徑名操作。當需要更強的說服力時，可以利用 bash 內建的變數擴充功能。已經使用了類似於 ${MYVAR} 的標準類型的變數擴充。但是 bash 自身也可以執行一些便利的字串截斷。看一下這些例子：

第一種方法:

${varible##*string} 從左向右截取最後一個string後的字串

${varible#*string}從左向右截取第一個string後的字串

${varible%%string*}從右向左截取最後一個string後的字串

${varible%string*}從右向左截取第一個string後的字串

"*"只是一個萬用字元可以不要

$ MYVAR=foodforthought.jpg
$ echo ${MYVAR##*fo}
rthought.jpg
$ echo ${MYVAR#*fo}
odforthought.jpg

在第一個例子中，輸入了 ${MYVAR##*fo}。它的確切含義是什嗎？基本上，在 ${ } 中輸入環境變數名稱，兩個 ##，然後是萬用字元 ("*fo")。然後，bash 取得 MYVAR，找到從字串 "foodforthought.jpg" 開始處開始、且匹配萬用字元 "*fo" 的 最長 子字串，然後將其從字串的開始處截去。剛開始理解時會有些困難，為了感受一下這個特殊的 "##" 選項如何工作，讓我們一步步地看看 bash 如何完成這個擴充。首先，它從 "foodforthought.jpg" 的開始處搜尋與 "*fo" 萬用字元匹配的子字串。以下是檢查到的子字串：

f  
fo      MATCHES *fo
foo
food
foodf      
foodfo      MATCHES *fo
foodfor
foodfort   
foodforth
foodfortho 
foodforthou
foodforthoug
foodforthought
foodforthought.j
foodforthought.jp
foodforthought.jpg

 

在搜尋了匹配的字串之後，可以看到 bash 找到兩個匹配。它選擇最長的匹配，從初始字串的開始處除去，然後返回結果。

上面所示的第二個變數擴充形式看起來與第一個相同，但是它只使用一個 "#" -- 並且 bash 執行 幾乎同樣的過程。它查看與第一個例子相同的子字串系列，但是 bash 從初始字串除去 最短 的匹配，然後返回結果。所以，一查到 "fo" 子字串，它就從字串中除去 "fo"，然後返回 "odforthought.jpg"。

這樣說可能會令人十分困惑，下面以一簡單方式記住這個功能。當搜尋最長相符時，使用 ##（因為 ## 比 # 長）。當搜尋最短匹配時，使用 #。看，不難記吧！等一下，怎樣記住應該使用 '#' 字元來從字串開始部分除去？很簡單！注意到了嗎：在美國鍵盤上，shift-4 是 "$"，它是 bash 變數擴充字元。在鍵盤上，緊靠 "$" 左邊的是 "#"。這樣，可以看到："#" 位於 "$" 的“開始處”，因此（根據我們的記憶法），"#" 從字串的開始處除去字元。您可能要問：如何從字串末尾除去字元。如果猜到我們使用美國鍵盤上緊靠 "$" 右邊 的字元 ("%)，那就猜對了。這裡有一些簡單的例子，解釋如何截去字串的末尾部分：

 

$ MYFOO="chickensoup.tar.gz"
$ echo ${MYFOO%%.*}
chickensoup
$ echo ${MYFOO%.*}
chickensoup.tar

 

正如您所見，除了將匹配萬用字元從字串末尾除去之外，% 和 %% 變數擴充選項與 # 和 ## 的工作方式相同。請注意：如果要從末尾除去特定子字串，不必使用 "*" 字元：

 

MYFOOD="chickensoup"
$ echo ${MYFOOD%%soup}
chicken

在此例中，使用 "%%" 或 "%" 並不重要，因為只能有一個匹配。還要記住：如果忘記了應該使用 "#" 還是 "%"，則看一下鍵盤上的 3、4 和 5 鍵，然後猜出來。

第二種方法：${varible:n1:n2}:截取變數varible從n1到n2之間的字串。

可以根據特定字元位移和長度，使用另一種形式的變數擴充，來選擇特定子字串。試著在 bash 中輸入以下行：

 

$ EXCLAIM=cowabunga
$ echo ${EXCLAIM:0:3}
cow
$ echo ${EXCLAIM:3:7}
abunga

 

這種形式的字串截斷非常簡便，只需用冒號分開來指定起始字元和子字串長度。

應用字串截斷

現在我們已經學習了所有截斷字串的知識，下面寫一個簡單短小的 shell 指令碼。我們的指令碼將接受一個檔案作為自變數，然後列印：該檔案是否是一個 tar 檔案。要確定它是否是 tar 檔案，將在檔案末尾尋找模式 ".tar"。如下所示：

mytar.sh -- 一個簡單的指令碼

#!/bin/bash

if [ "${1##*.}" = "tar" ]
then
    echo This appears to be a tarball.
else
    echo At first glance, this does not appear to be a tarball.
fi

 

要運行此指令碼，將它輸入到檔案 mytar.sh 中，然後輸入 "chmod 755 mytar.sh"，產生可執行檔。然後，如下做一下 tar 檔案實驗：

 

$ ./mytar.sh thisfile.tar
This appears to be a tarball.
$ ./mytar.sh thatfile.gz
At first glance, this does not appear to be a tarball.

 

好，成功運行，但是不太實用。在使它更實用之前，先看一下上面使用的 "if" 語句。語句中使用了一個布林運算式。在 bash 中，"=" 比較子檢查字串是否相等。在 bash 中，所有布林運算式都用方括弧括起。但是布林運算式實際上測試什嗎？讓我們看一下左邊。根據前面所學的字串截斷知識，"${1##*.}" 將從環境變數 "1" 包含的字串開始部分除去最長的 "*." 匹配，並返回結果。這將返迴文件中最後一個 "." 之後的所有部分。顯然，如果檔案以 ".tar" 結束，結果將是 "tar"，條件也為真。

您可能會想：開始處的 "1" 環境變數是什麼。很簡單 -- $1 是傳給指令碼的第一個命令列自變數，$2 是第二個，以此類推。