mongodb中處理插入資料去重問題

標籤：mongodb

最近在寫一個爬蟲工具，將網站的資料儲存到mongodb中，由於資料有重複的，所以我就在建立資料庫的時候，為集合建立了索引，下面說下我的步驟，集合名稱為drugitem，

下面是集合：

我要為name欄位建立唯一索引，因為要保證name沒有重複：

就這樣我運行程式探索資料比原來沒有設定唯一索引時少了好多，我仔細查看發現程式在name欄位重複的地方停止了，這不是我想要的結果，因為後面的資料還沒有查詢完成。於是我就刪除了原來建立的name索引：

然後remove資料，重新按照老辦法重新抓取資料，這樣一來資料是得到了，但是本質問題還沒解決，裡面含有許多重複資料，於是我使用唯一索引+去重操作得到最終結果：

這樣做的前提是集合中已經含有所有資料，這樣處理後會發現drugitem集合中文檔減少，說明去除了重複的文檔。

問題雖然解決了，但是我覺得還是不太合適，難道我們每次都要這樣處理才能得到最終資料？能不能在程式中插入的時候加以判斷（或許這樣會增加插入時間）或者在建立集合的時候提前配置好？由於本人初次接觸mongodb，希望有高手看到後給予指點。

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

mongodb中處理插入資料去重問題