shell兩個檔案去重的多種姿勢_linux shell

前言

大家都知道shell在文本處理上確有極大優勢，比如多文本合并、去重等，但是最近遇到了一個難搞的問題，即兩個大資料量檔案去重。下面來看看詳細的介紹吧。

要求 

有txt檔案A.txt和B.txt。

其中A為關鍵詞和搜尋量，以逗號分隔，約90萬行。

B為關鍵詞，約400萬行。

需要從A中找出與B重複的關鍵詞。

我試了N種姿勢，但結果都不盡人意，最奇怪的是有些方法對小資料量的測試檔案有用，一旦用在A與B上就會失敗，真叫人百思不得其解。

姿勢一：

awk -F, '{print $1}' A >keywords.txtcat keywords.txt B.txt | sort | uniq -d #先從A.txt種取出關鍵詞，然後與B.txt一起開啟，用sort排序，uniq -d 取出重複的行

姿勢二：

awk -F, '{print $1}' A >keywords.txt#照例先取出關鍵詞 comm -1 -2 keywords.txt B.txt#利用comm命令，顯示兩個檔案都存在的行

姿勢三：

awk -F, '{print $1}' A >keywords.txtfor i in `cat keywords.txt`do  A=`egrep -c "^$i$" B.txt`  if [ $A != 0 ]  then    echo $i >>重複關鍵詞.txt  fidone #這種姿勢就稍微複雜點#首先取出關鍵詞，然後利用for迴圈逐個去B.txt裡面匹配（注意正則寫法^$i$），如果匹配到的結果數不為0，說明這個關鍵詞是重複的，然後輸出#這種方法的優點是穩妥，缺點是效率太TM低了，90萬個詞逐一與400萬詞匹配，shell預設又沒有多線程，耗時太長。

姿勢四：

awk -F, '{print $1}' A >keywords.txtcat keywords.txt B.txt | awk '!a[$1]++' #這個方法的原理其實我不太懂，awk命令實在太強大太高深了，但是這種方法又簡潔又快速

其實還有一種grep -v 、grep -f 的方法，但是我沒有試過，所以不在這裡列出了。

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作能帶來一定的協助，如果有疑問大家可以留言交流。