[shell]資料的並集和差集

[shell]資料的並集和差集

統計資料時經常會有這樣的要求，有檔案Ａ和檔案Ｂ。現在需要知道檔案中的資料，那些是Ａ和Ｂ共有的，那些只出現在Ａ檔案中(或者那些只出現在Ｂ檔案中)。這樣的需求可以通過uniq命令完成。

uniq -d 會輸出重複行

uniq -u 只顯示唯一的行

利用uniq sort 略施小計就能搞定了

例如　檔案Ａ

100101102100

檔案Ｂ

103102102 

指令碼如下

cat A | sort | uniq >tmpA #Ａ資料集祛重cat B | sort | uniq > tmpB #B資料集祛重cat tmpA tmpB | sort | uniq -d  #Ａ和Ｂ的交集cat tmpA tmpB tmpB| sort | uniq -u ＃Ａ中有而Ｂ中沒有的資料（Ａ－Ｂ）

說明，交集和差集是計算原理是什麼呢？其實逐步執行一下就清楚了。

cat A | sort | uniq >tmpA ;cat  tmpA100101102cat B | sort | uniq >tmpB ;cat  tmpB102103

然後用cat tmpA tmpB 合并兩個檔案

cat tmpA tmpB100101102102103

最後，用uniq找出檔案中的重複行，就是A和B的交集了

cat tmpA tmpB | sort | uniq -d102

至於求差集，原理是類似的。