Shell命令學習 之，sort,unique 檔案簡單排序去除重複記錄

標籤：gpo   log   post   通過   blog   shell   span   簡單的   簡單   

經常會碰到檔案裡有重複記錄的情境，要麼去除重複記錄，要麼統計下重複記錄數，這些簡單的功能可以通過shell命令裡的sort,uniq組合實現,

比如檔案a.txt記錄如下

test,test1,test2testtest1test2test,test1,test2abcdedfgabcdddddd

去除重複行:

sort a.txt |uniq

abcddddddedfgtesttest,test1,test2test1test2

尋找非重複行

[[email protected] ~/]$ sort a.txt |uniq -udddddedfgtesttest1test2

尋找重複行

[[email protected] ~/]$ sort a.txt |uniq -dabcdtest,test1,test2

統計

[[email protected] ~/]$ sort a.txt |uniq -c      1      2 abcd      1 ddddd      1 edfg      1 test      2 test,test1,test2      1 test1      1 test2

 

Shell命令學習 之，sort,unique 檔案簡單排序去除重複記錄