Python 計算不重複元素的個數

情景：計算記錄檔中，獨立IP的個數，也就是unique visitor。

計算量：每小時大概有70萬左右的記錄，每天24小時，大概1400-1500萬條記錄

 

一開始，想到用一個list來儲存用戶端IP，從日誌裡邊取出一個IP，

判斷是否已經存在，如果存在，就忽略，否則添加到這個list中去

addrs = []

 

for line in f.readlines() :

    addr = get_addr(line)

    if not addr in addrs :

        addrs.append(addr)

print len(addrs)

 

滿以為這樣就可以做好了，可是，實際中一測試，分析完一個小時的檔案要7分半鐘，

照這種速度，24個檔案要2個多小時，實在是太慢了！

由此可以看到list的in的效率是非常低的，在元素數量很少的情況下，看不出來，但是元素一多

馬上就看到了。

 

聯想到Java裡邊有Set，HashSet使用元素的hash值來判斷是否重複，速度應該是快很多，那麼

Python裡邊是否也有set呢。哈哈，查了一下manual，還好，連名字都一樣叫做set

 

將上邊代碼裡邊的list換成set

 

addrs = set()

for line in f.readlines():

    addr = get_addr(line)

    addrs.add(addr)

print len(addrs)

 

set的add方法會在內部判斷元素是否已經添加，如果元素已經存在，則忽略掉，否則就添加到set裡邊去

所以，不需要像list那樣在添加到set之前判斷。

測試了一下，分析完一個檔案才要2-3秒鐘，速度是用list的200多倍啊，24個檔案用了1分鐘就分析完了。

 

set的缺點在於無法保證元素添加進去的順序，如果需要保證順序，還需要list的輔助啦。