如何去掉一個檔案中重複的資料行

一、去掉相鄰重複的資料行

$cat data1.txt | uniq 

輸出：

beijingwuhanbeijingwuhan

二、去掉所有重複的資料行

$cat data1.txt | sort | uniq

註：只有uniq命令的話，只是把相鄰的重複的資料行去掉。如果先 sort 的話，就會把所有重複的資料行變成相鄰的資料行，再 uniq 的話，就去掉所有重複的資料行了。輸出：

beijingwuhan

附：data1.txt

[root@syy ~]# cat data1.txtbeijingbeijingwuhanwuhanwuhanbeijingbeijingbeijingwuhanwuhan

註：在過濾日誌中的IP地址很有用。