linux shell 重複資料刪除檔案只保留一份

#!/bin/bash 
#name:remove_one.sh
#用途：尋找並重複資料刪除檔案，每個檔案只保留一個樣本

#將檔案依據大小排序並輸出
ls -lS | awk 'BEGIN {
 #得到第一行total總數並丟棄，讀取下一行
 getline;getline;
 name1=$9;size=$5;
}
{
 name2=$9;
 if(size==$5)
 #大小一樣的可能是內容相同的檔案
 {
  #用md5進行校正和
  ("md5sum "name1)|getline; csum1=$1;
  ("md5sum "name2)|getline; csum2=$1;
  #如果校正和相同則為內容相同的文集，輸出名字
  if( csum1==csum2 )
  {
   {print name1;print name2}
  }
 };
 size=$5;name1=name2;
}' | sort -u > duplicate_files


#計算重複檔案的md5sum，將重複檔案中的一採樣寫入duplicate_sample中
cat duplicate_files|xargs -I {} md5sum {}| sort | uniq -w 32 | awk '{print $2}' | sort -u > duplicate_sample

echo Removing...

#刪除在duplicate_files中列出且未被duplicate_sample列出的全部檔案
comm duplicate_files duplicate_sample -2 -3|tee /dev/stderr|xargs rm
echo Removed duplicates files successfully


--------------------------------------------------------
執行：
[root@node1 tmp]# sh remove_one.sh
過濾的是目前的目錄下的，不處理目錄，不遞迴處理子目錄