Python:尋找硬碟上重複檔案

在下載了很多資料之後，由於分類不好，很多檔案夾下都放了重複的檔案，就想用python寫個尋找重複檔案的小工具。

主要思路如下：

1. 尋找同命檔案

2.  利用了crc32，先檢查出同樣尺寸的檔案，再計算crc32，得出相同的檔案名稱列表。

下面是轉載的一個代碼，雖然可以滿足要求，但是在尋找大量檔案時候，速度很慢，我抽空把它調優。

代碼 1 #!/usr/bin/env python
 2 #coding=utf-8
 3 import binascii, os
 4 
 5 filesizes = {}
 6 samefiles = []
 7 
 8 def filesize(path):
 9     if os.path.isdir(path):
10         files = os.listdir(path)
11         for file in files:
12             filesize(path + "/" + file)
13     else:
14         size = os.path.getsize(path)
15         if not filesizes.has_key(size):
16             filesizes[size] = []
17         filesizes[size].append(path)
18 
19 def filecrc(files):
20     filecrcs = {}
21     for file in files:
22         f = open(file, "r")
23         crc = binascii.crc32(f.read())
24         f.close()
25         if not filecrcs.has_key(crc):
26             filecrcs[crc] = []
27         filecrcs[crc].append(file)
28     for filecrclist in filecrcs.values():
29         if len(filecrclist) > 1:
30             samefiles.append(filecrclist)
31             
32 if __name__ == '__main__':
33     path = r"J:\My Work"
34     filesize(path)
35     for sizesamefilelist in filesizes.values():
36         if len(sizesamefilelist) > 1:
37             filecrc(sizesamefilelist)
38     for samfile in samefiles:
39         print "****** same file group ******"
40         for file in samefile:
41             print file