一天一個shell命令 linux常值內容操作系列-sed命令詳解_linux shell

說明：

sed是stream editor(流編輯器)的縮寫。它能夠完美匹配Regex。sed和awk是檔案編輯最重要的兩個命令了。尤其涉及到了很多Regex的問題，筆者不敢也有點犯怵，試著寫寫。

執行個體：

1.替換檔案中的字串

$sed -i 's/text/replace/g' file

#如果不加g結尾，則替換每一行的第一個

#如果只是列印，去掉-i

2.忽略前N處匹配，從N+1出開始替換

$sed -i 's/text/replace/2g' file

#在g前面加入數字N

3.移除空白符

$sed '/^$/d' file

4.標記已匹配的內容

$echo this is an example | sed 's:\w\+:/[&]:g'

[this] [is] [an] [example]

#冒號是定界符，只要合適，定界符可以是任意的

5.子串匹配

$echo this is digit 7 in a number | sed 's:digit \(0-9\):\1:'

#輸出：this is 7 in a number

#學過Regex的人，都理解group的概念，（）裡的內容是第一組，所以只列印了7

6.引用

$text=hello

$echo hello world | sed "s/$text/HELLO"

#輸出HELLO world

#可能有人注意用雙引號，是因為單引號會把$text當做一個字串，而不是運算式。

7.刪除

$sed '2d' file #刪除第二行

$sed '2,$d' file  #刪除2-最後一行

$sed '$d' file  #刪除最後一行

解讀—help

用法: sed [選項]... {指令碼(如果沒有其他指令碼)} [輸入檔案]...

  -n, --quiet, --silent
                  取消自動列印模式空間
  -e 指令碼, --expression=指令碼
                 添加“指令碼”到程式的運行列表
  -f 指令檔, --file=指令檔
                 添加“指令檔”到程式的運行列表
  --follow-symlinks
                  直接修改檔案時跟隨軟連結
  -i[副檔名], --in-place[=副檔名]
                  直接修改檔案(如果指定副檔名就備份檔案)
   -l N, --line-length=N
                  指定“l”命令的換行期望長度
  --posix
                  關閉所有 GNU 擴充
  -r, --regexp-extended
                  在指令碼中使用擴充Regex
  -s, --separate
                  將輸入檔案視為各個獨立的檔案而不是一個長的連續輸入
  -u, --unbuffered
                  從輸入檔案讀取最少的資料，更頻繁的重新整理輸出
      --help     列印協助並退出
      --version  輸出版本資訊並退出

如果沒有 -e, --expression, -f 或 --file 選項，那麼第一個非選項參數被視為
sed指令碼。其他非選項參數被視為輸入檔案，如果沒有輸入檔案，那麼程式將從標準
 輸入讀取資料。

解讀：

對於這個協助資訊，確實資訊量非常不足，不過sed確實過於複雜，所以嘗試分成幾次來詳解這個命令。

我再借用另一段協助資訊文檔

調用sed命令有兩種形式：
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)

options
a\   例如：sed "a\mm" file
在當前行後面加入一行文本。
b lable
分支到指令碼中帶有標記的地方，如果分支不存在則分支到指令碼的末尾。
c\
用新的文本改變本行的文本。
d
從模板塊（Pattern space）位置刪除行。
D
刪除模板塊的第一行。
i\
在當前行上面插入文本。
h
拷貝模板塊的內容到記憶體中的緩衝區。
H
追加模板塊的內容到記憶體中的緩衝區
g
獲得記憶體緩衝區的內容，並替代當前模板塊中的文本。
G
獲得記憶體緩衝區的內容，並追加到當前模板塊文本的後面。
l
列表不能列印字元的清單。
n
讀取下一個輸入行，用下一個命令處理新的行而不是用第一個命令。
N
追加下一個輸入行到模板塊後面並在二者間嵌入一個新行，改變當前行號碼。
p
列印模板塊的行。
P（大寫）
列印模板塊的第一行。
q
退出Sed。
r file
從file中讀行。
t label
if分支，從最後一行開始，條件一旦滿足或者T，t命令，將導致分支到帶有標號的命令處，或者到指令碼的末尾。
T label
錯誤分支，從最後一行開始，一旦發生錯誤或者T，t命令，將導致分支到帶有標號的命令處，或者到指令碼的末尾。
w file
寫並追加模板塊到file末尾。
W file
寫並追加模板塊的第一行到file末尾。
!
表示後面的命令對所有沒有被選定的行發生作用。
s/re/string
用string替換Regexre。
=
列印當前行號碼。
#
把注釋擴充到下一個分行符號以前。

 以下的是替換標記
g表示行內全面替換。
p表示列印行。
w表示把行寫入一個檔案。
x表示互換模板塊中的文本和緩衝區中的文本。
y表示把一個字元翻譯為另外的字元（但是不用於Regex）

區別加斜杆與不加
 例如： a\ 表示在a\後面加入內容，而d則在d前面加入運算式，1d表示刪除1行。

sed補充

這是對sed命令與選項的一個比較全面的補充,主要是從網上搜集的例子。

1 p命令

命令p用於顯示模式空間的內容。預設情況下，sed把輸入行列印在螢幕上，選項-n用於取消預設的列印操作。當選項-n和命令p同時出現時,sed可列印選定的內容。

複製代碼 代碼如下:

sed '/my/p' datafile
 #預設情況下，sed把所有輸入行都列印在標準輸出上。如果某行匹配模式my，p命令將把該行另外列印一遍。

sed -n '/my/p' datafile
 #選項-n取消sed預設的列印，p命令把匹配模式my的行列印一遍。

2.d命令
命令d用於刪除輸入行。sed先將輸入行從檔案複製到模式空間裡，然後對該行執行sed命令，最後將模式空間裡的內容顯示在螢幕上。如果發出的是命令d，當前模式空間裡的輸入行會被刪除，不被顯示。

 sed '$d' datafile
#刪除最後一行，其餘的都被顯示
sed '/my/d' datafile
 #刪除包含my的行，其餘的都被顯示

3.s命令

 sed 's/^My/You/g' datafile
 #命令末端的g表示在行內進行全域替換，也就是說如果某行出現多個My，所有的My都被替換為You。
sed -n '1,20s/My$/You/gp' datafile
 #取消預設輸出，處理1到20行裡匹配以My結尾的行，把行內所有的My替換為You，並列印到螢幕上。
 

sed 's#My#Your#g' datafile
 #緊跟在s命令後的字元就是尋找串和替換串之間的分隔字元。分隔字元預設為正斜杠，但可以改變。無論什麼字元（分行符號、反斜線除外），只要緊跟s命令，就成了新的串分隔字元。

4 e選項

-e是編輯命令，用於sed執行多個編輯任務的情況下。在下一行開始編輯前，所有的編輯動作將應用到模式緩衝區中的行上。

 sed -e '1,10d'-e 's/My/Your/g' datafile
  #選項-e用於進行多重編輯。第一重編輯刪除第1-3行。第二重編輯將出現的所有My替換為Your。因為是逐行進行這兩項編輯（即這兩個命令都在模式空間的當前行上執行），所以編輯命令的順序會影響結果。 

 5 r命令
r命令是讀命令。sed使用該命令將一個文字檔中的內容加到當前檔案的特定位置上。

 sed '/My/r introduce.txt' datafile
 #如果在檔案datafile的某一行匹配到模式My，就在該行後讀入檔案introduce.txt的內容。如果出現My的行不止一行，則在出現My的各行後都讀入introduce.txt檔案的內容。

 6 w命令

 sed -n '/hrwang/w me.txt' datafile  
 
7 a\ 命令
a\ 命令是追加命令，追加將添加新文本到檔案中當前行（即讀入模式緩衝區中的行）的後面。所追加的文本行位於sed命令的下方另起一行。如果要追加的內容超過一行，則每一行都必須以反斜線結束，最後一行除外。最後一行將以引號和檔案名稱結束。

sed '/^hrwang/a\
 >hrwang and mjfan are husband\
 >and wife' datafile
 #如果在datafile檔案中發現匹配以hrwang開頭的行，則在該行下面追加hrwang and mjfan are husband and wife
 
8 i\ 命令
i\ 命令是在當前行的前面插入新的文本。

9 c\ 命令

sed使用該命令將已有文本修改成新的文本。

10 n命令
sed使用該命令擷取輸入檔案的下一行，並將其讀入到模式緩衝區中，任何sed命令都將應用到匹配行緊接著的下一行上

 sed '/hrwang/{n;s/My/Your/;}' datafile 
=註：如果需要使用多條命令，或者需要在某個位址範圍內嵌套地址，就必須用花括弧將命令括起來，每行唯寫一條命令，或這用分號分割同一行中的多條命令。

11 y命令

該命令與UNIX/Linux中的tr命令類似，字元按照一對一的方式從左至右進行轉換。例如，y/abc/ABC/將把所有小寫a轉換成A，小寫b轉換成B，小寫c轉換成C。

 sed '1,20y/hrwang12/HRWANG^$/' datafile
 #將1到20行內，所有的小寫hrwang轉換成大寫，將1轉換成^,將2轉換成$。
#Regex元字元對y命令不起作用。與s命令的分隔字元一樣，斜線可以被替換成其它的字元。
 
 12 q命令
q命令將導致sed程式退出，不再進行其它的處理
01.sed '/hrwang/{s/hrwang/HRWANG/;q;}' datafile 

13 h命令和g命令

#cat datafile
My name is hrwang.
Your name is mjfan.
hrwang is mjfan's husband.
mjfan is hrwang's wife.
sed -e '/hrwang/h'-e '$G' datafile
sed -e '/hrwang/H' -e '$G' datafile
#通過上面兩條命令，你會發現h會把原來暫存緩衝區的內容清除，只儲存最近一次執行h時儲存進去的模式空間的內容。而H命令則把每次匹配hrwnag的行都追加儲存在暫存緩衝區。

sed -e '/hrwang/H' -e '$g' datafile
sed -e '/hrwang/H' -e '$G' datafile

#通過上面兩條命令，你會發現g把暫存緩衝區中的內容替換掉了模式空間中當前行的內容，此處即替換了最後一行。而G命令則把暫存緩衝區的內容追加到了模式空間的當前行後。此處即追加到了末尾。