MongoDB Map Reduce

標籤：組合   查看   任務   最佳化   script   調試   result   res   相同   

Map-Reduce是一種計算模型，簡單的說就是將大批量的工作（資料）分解（MAP）執行，然後再將結果合并成最終結果（REDUCE）。

MongoDB提供的Map-Reduce非常靈活，對於大規模資料分析也相當實用。

MapReduce 命令

以下是MapReduce的基本文法：

>db.collection.mapReduce(   function() {emit(key,value);},  //map 函數   function(key,values) {return reduceFunction},   //reduce 函數   {      out: collection,      query: document,      sort: document,      limit: number   })

使用 MapReduce 要實現兩個函數 Map 函數和 Reduce 函數,Map 函數調用 emit(key, value), 遍曆 collection 中所有的記錄, 將key 與 value 傳遞給 Reduce 函數進行處理。

Map 函數必須調用 emit(key, value) 返回索引值對。

參數說明:

• map ：映射函數 (產生索引值對序列,作為 reduce 函數參數)。
• reduce 統計函數，reduce函數的任務就是將key-values變成key-value，也就是把values數組變成一個單一的值value。。
• out 統計結果存放集合 (不指定則使用臨時集合,在用戶端斷開後自動刪除)。
• query 一個篩選條件，只有滿足條件的文檔才會調用map函數。（query。limit，sort可以隨意組合）
• sort 和limit結合的sort排序參數（也是在發往map函數前給文檔排序），可以最佳化分組機制
• limit 發往map函數的文檔數量的上限（要是沒有limit，單獨使用sort的用處不大）

使用 MapReduce

考慮以下文檔結構儲存使用者的文章，文檔儲存了使用者的 user_name 和文章的 status欄位：

{   "post_text": "w3cschool.cn W3Cschool教程，最全的技術文檔。",   "user_name": "mark",   "status":"active"}

現在，我們將在 posts 集合中使用 mapReduce 函數來選取發行的文章，並通過user_name分組，計算每個使用者的文章數：

>db.posts.mapReduce(    function() { emit(this.user_id,1); },    function(key, values) {return Array.sum(values)},       {           query:{status:"active"},           out:"post_total"       })

以上 mapReduce 輸出結果為：

{   "result" : "post_total",   "timeMillis" : 9,   "counts" : {      "input" : 4,      "emit" : 4,      "reduce" : 2,      "output" : 2   },   "ok" : 1,}

結果表明，共有4個符合查詢條件（status:"active"）的文檔， 在map函數中產生了4個索引值對文檔，最後使用reduce函數將相同的索引值分為兩組。

具體參數說明：

• result：儲存結果的collection的名字,這是個臨時集合，MapReduce的串連關閉後自動就被刪除了。
• timeMillis：執行花費的時間，毫秒為單位
• input：滿足條件被發送到map函數的文檔個數
• emit：在map函數中emit被調用的次數，也就是所有集合中的資料總量
• ouput：結果集合中的文檔個數（count對調試非常有協助）
• ok：是否成功，成功為1
• err：如果失敗，這裡可以有失敗原因，不過從經驗上來看，原因比較模糊，作用不大

使用 find 操作符來查看 mapReduce 的查詢結果：

>db.posts.mapReduce(    function() { emit(this.user_id,1); },    function(key, values) {return Array.sum(values)},       {           query:{status:"active"},           out:"post_total"       }).find()

以上查詢顯示如下結果，兩個使用者 tom 和 mark 有兩個發布的文章:

{ "_id" : "tom", "value" : 2 }{ "_id" : "mark", "value" : 2 }

用類似的方式，MapReduce可以被用來構建大型複雜的彙總查詢。

Map函數和Reduce函數可以使用 JavaScript 來實現，是的MapReduce的使用非常靈活和強大。

MongoDB Map Reduce