互連網_大資料

標籤：style   使用   strong   資料   ar   演算法   sp   on   

1，給定兩個整數集合A和B，每個集合都包含20億個不同整數，請給出快速計算A∩B的演算法，演算法可使用外存，但是要求佔用記憶體不能超過4GB。

答：

基本思路：利用bitmap以及位元運算來實現。

思考過程：整數最大為2的32次方-1；如果每位依次記錄一個數，那麼需要int的個數是(2的32次方-1)/32=1億個。佔用的記憶體大小為4byte*1億=0.4G。不超過題目要求的4G.

因此，解決思路是：

1）申請兩個[2的32次方-1]/32個int型的整數數組

2）依次掃描兩個集合A和B，如果集合包含某一個整數，就將對應位置1

3）之後將兩個用作標誌位的兩個整形數組做交運算

思考，如果是兩個集合中都包含20億個url呢，如何求出二者的交集（利用bloom過濾器）轉換為一個尋找操作？<具體實現？>