大資料類演算法問題

標籤：利用   排序   大小   hash   歸併   演算法   val   大資料   不同   

1.有一個1G大小的一個檔案，裡面每一行是一個詞，詞的大小不超過16位元組，記憶體限制大小是1M。返回頻數最高的100個詞

1G有2^26個單詞，1M可以存2^16個詞。

step1：利用hash散列方法，hash（x）/5000將檔案單詞存到5000個不同的空間。（平均下來，每個空間大概有200k大小，有的可能超過1M，則對於該集合繼續劃分，知道都小於1M）

step2：將每個集合放入記憶體進行hashmap處理，key設為單詞，value為頻率。

step3：對於每個集合，通過最小堆排序的演算法求其平率最高的100個。然後將這5000個進行歸併排序。（5000*100=500000<2^16）

大資料類演算法問題