uniq過濾工具

一、簡介（repeat or omit repeated lines）

檢查及刪除文字檔中重複出現的行（重複行的定義：完全符合的連續行）。

 

二、格式

uniq [OPTION]... [INPUT [OUTPUT]]

 

三、常用選項

-d               #把重複行寫道 OUTPUT 中，不管連續出現多少次，僅寫一次
-c               #每行前顯示在輸入檔案中出現的次數
-u               #僅顯示出現一次的行
-s2              #忽略比較前兩個字元
-f2              #忽略第二個欄位
-w2              #至多比較2個字元

四、執行個體

測試檔案：

cat filename

Vine street
Vhin street
China
New York
New York
New York
add York
ass York
China
China
ccina
china

1.統計重複的行

uniq -d -c addresses

      3 New York
      2 China

2.忽略第一個欄位

uniq -f1 -c addresses 

      2 Vine street
      1 China
      5 New York
      4 China

3.至多比較一個字元

uniq -w1 -c addresses

      2 Vine street
      1 China
      3 New York
      2 add York
      2 China
      2 ccina