shell指令碼去重的幾種方法

標籤：

• 測試檔案

[[email protected] ~]# cat >testjasonjasonjasonfffff

按 Ctr + D儲存

1、sort -u

[[email protected] ~]# sort -u testfffffjason

2、uniq

[[email protected] ~]# uniq testjasonfffffjason

由此可見，uniq需要先排序後才能去重

3、sort、管道和uniq結合運用

• 　　去除重複並保留一份重複的資料

[[email protected] ~]# sort test|uniqfffffjason

• 　　去除所有重複的行（不保留重複的行），並計算行數

[[email protected] ~]# sort test|uniq -uc      1 fffff

• 　　找出所有重複的行，並計算行數

[[email protected] ~]# sort test|uniq -dc      4 jason

• 　　根據某個欄位去重

　　將原有資料改為

[[email protected] ~]# more testjason 1jason 2jason 1fffff 2jason 3

[[email protected] ~]# sort -k 1,1 -u testfffff 2jason 1

　　man sort查看sort的用法，-k參數是這麼描述的：

　　　　-k, --key=POS1[,POS2]
　　　　start a key at POS1 (origin 1), end it at POS2 (default end of line)

　　也就是說-k哪幾個列進行排序，pos1是開始列，pos2是結束列

 

shell指令碼去重的幾種方法