海量資料對比去除重複的解決方案_資料庫開發

海量資料對比去除重複的解決方案

最近有個北京的做郵件營銷的朋友，他手裡很多個幾百萬的資料，需要做去除重複處理。

以下是我在摸索過程中的找到的一些解決方案，供大家參考： 1：自己寫程式來實現：

此功能能夠實現，但涉及的技術非常繁瑣，需要耗費大量時間：

1）  集合運算的基礎知識

2）  多執行緒

3）  文字檔讀寫操作

4）  集合或數組的基本操作

然後軟體調試……

  2：尋找市場上成熟的去除重複的軟體

發現現成的軟體滿足不了要求，訂製開發的話，軟體公司的報價比較高，一個工作日需要1000元以上。

  3：利用SQL指令碼去除重複

首先把2個文字檔匯入Sqlserver資料庫，然後運行以下指令碼：

1) 查詢a,b中重複的郵件：也即 a交b

Select mail from a where mail in (select mail from b )

2) 查詢a中有，b中沒有的郵件，也即a差b

Select mail from a where mail not  in (select mail from b )

3) 查詢b中有，a中沒有的郵件，也即b差a

Select mail from a where mail not  in (select mail from b )

4) 查詢a,b都有的郵件，也即a並b：

Select col001 from a

Union

Select col001 from b

執行過程中發現：記憶體佔用：1.3G  CPU佔用:99%

這種方法對電腦的硬體設定要求比較高，記憶體要求2G 以上。

 

結果發現：方案3是快速可行的解決方案，