mongodb mapreduce用法

標籤：style   blog   http   color   io   os   使用   java   ar   

        mongoDB的MapReduce簡介                分類：            MongoDB2012-12-06 21:378676人閱讀評論(2)收藏舉報MongoDB MapReduceMapReduce是一種計算模型，簡單的說就是將大批量的工作（資料）分解（MAP）執行，然後再將結果合并成最終結果（REDUCE）。這樣做的好處是可以在任務被分解後，可以通過大量機器進行並行計算，減少整個操作的時間。

 

上面是MapReduce的理論部分，下面說實際的應用，下面以MongoDB MapReduce為例說明。

下面是MongoDB官方的一個例子：

 

> db.things.insert( { _id : 1, tags : [‘dog‘, ‘cat‘] } );> db.things.insert( { _id : 2, tags : [‘cat‘] } );> db.things.insert( { _id : 3, tags : [‘mouse‘, ‘cat‘, ‘dog‘] } );> db.things.insert( { _id : 4, tags : []  } );> // map function> map = function(){...    this.tags.forEach(...        function(z){...            emit( z , { count : 1 } );...        }...    );...};> // reduce function> reduce = function( key , values ){...    var total = 0;...    for ( var i=0; i<values.length; i++ )...        total += values[i].count;...    return { count : total };...};db.things.mapReduce(map,reduce,{out:‘tmp‘}){    "result" : "tmp",    "timeMillis" : 316,    "counts" : {        "input" : 4,        "emit" : 6,        "output" : 3    },    "ok" : 1,}> db.tmp.find(){ "_id" : "cat", "value" : { "count" : 3 } }{ "_id" : "dog", "value" : { "count" : 2 } }{ "_id" : "mouse", "value" : { "count" : 1 } }

 

 

例子很簡單，計算一個標籤系統中每個標籤出現的次數。

這裡面，除了emit函數之外，所有都是標準的js文法,這個emit函數是非常重要的，可以這樣理解，當所有需要計算的文檔（因為在mapReduce時，可以對文檔進行過濾，接下來會講到）執行完了map函數，map函數會返回key_values對，key即是emit中的第一個參數key，values是對應同一key的emit的n個第二個參數組成的數組。這個key_values會作為參數傳遞給reduce，分別作為第1.2個參數。

reduce函數的任務就是將key-values變成key-value，也就是把values數組變成一個單一的值value。當key-values中的values數組過大時，會被再切分成很多個小的key-values塊，然後分別執行Reduce函數，再將多個塊的結果組合成一個新的數組，作為Reduce函數的第二個參數，繼續Reducer操作。可以預見，如果我們初始的values非常大，可能還會對第一次分塊計算後組成的集合再次Reduce。這就類似於多階的歸併排序了。具體會有多少重，就看資料量了。

reduce一定要能被反覆調用，不論是映射環節還是前一個簡化環節。所以reduce返回的文檔必須能作為reduce的第二個參數的一個元素。

（當書寫Map函數時，emit的第二個參數組成數組成了reduce函數的第二個參數，而Reduce函數的傳回值，跟emit函數的第二個參數形式要一致，多個reduce函數的傳回值可能會組成數組作為新的第二個輸入參數再次執行Reduce操作。）

 

MapReduce函數的參數列表如下：

 

db.runCommand( { mapreduce : <collection>,   map : <mapfunction>,   reduce : <reducefunction>   [, query : <query filter object>]   [, sort : <sort the query.  useful for optimization>]   [, limit : <number of objects to return from collection>]   [, out : <output-collection name>]   [, keeptemp: <true|false>]   [, finalize : <finalizefunction>]   [, scope : <object where fields go into javascript global scope >]   [, verbose : true] });

或者這麼寫：

 

 

db.collection.mapReduce(                         <map>,                         <reduce>,                         {                           <out>,                           <query>,                           <sort>,                           <limit>,                           <keytemp>,                           <finalize>,                           <scope>,                           <jsMode>,                           <verbose>                         }                       )

• mapreduce：指定要進行mapreduce處理的collection
• map：map函數
• reduce：reduce函數
• out：輸出結果的collection的名字，不指定會預設建立一個隨機名字的collection（如果使用了out選項，就不必指定keeptemp：true了，因為已經隱含在其中了）
• query：一個篩選條件，只有滿足條件的文檔才會調用map函數。（query。limit，sort可以隨意組合）
• sort：和limit結合的sort排序參數（也是在發往map函數前給文檔排序），可以最佳化分組機制
• limit：發往map函數的文檔數量的上限（要是沒有limit，單獨使用sort的用處不大）
• keytemp：true或false，表明結果輸出到的collection是否是臨時的，如果想在串連關閉後仍然保留這個集合，就要指定keeptemp為true，如果你用的是MongoDB的mongo用戶端串連，那必須exit後才會刪除。如果是指令碼執行，指令碼退出或調用close會自動刪除結果collection
• finalize：是函數，它會在執行完map、reduce後再對key和value進行一次計算並返回一個最終結果，這是處理過程的最後一步，所以finalize就是一個計算平均數，剪裁數組，清除多餘資訊的恰當時機
• scope：javascript代碼中要用到的變數，在這裡定義的變數在map，reduce，finalize函數中可見
• verbose：用於調試的詳細輸出選項，如果想看MpaReduce的運行過程，可以設定其為true。也可以print把map，reduce，finalize過程中的資訊輸出到伺服器日誌上。

 

執行MapReduce函數返回的文檔結構如下：

  { result : <collection_name>,

    timeMillis : <job_time>,

    counts : {

               input : <number of objects scanned>,

               emit : <number of times emit was called>,

               output : <number of items in output collection>

     } ,

     ok : <1_if_ok>,

     [, err : <errmsg_if_error>]

}

• result：儲存結果的collection的名字,這是個臨時集合，MapReduce的串連關閉後自動就被刪除了。
• timeMillis：執行花費的時間，毫秒為單位
• input：滿足條件被發送到map函數的文檔個數
• emit：在map函數中emit被調用的次數，也就是所有集合中的資料總量
• ouput：結果集合中的文檔個數（count對調試非常有協助）
• ok：是否成功，成功為1
• err：如果失敗，這裡可以有失敗原因，不過從經驗上來看，原因比較模糊，作用不大

java代碼執行MapReduce的方法：

[java] view plaincopyprint?

1. public void MapReduce() { 
2.         Mongo mongo = new Mongo("localhost",27017); 
3.         DB db = mongo.getDB("qimiguangdb"); 
4.         DBCollection coll = db.getCollection("collection1"); 
5.         
6.         String map = "function() { emit(this.name, {count:1});}"; 
7.                                                                                                                
8.     
9.         String reduce = "function(key, values) {";   
10.         reduce=reduce+"var total = 0;";   
11.         reduce=reduce+"for(var i=0;i<values.length;i++){total += values[i].count;}";   
12.         reduce=reduce+"return {count:total};}";   
13.            
14.         String result = "resultCollection";   
15.            
16.         MapReduceOutput mapReduceOutput = coll.mapReduce(map,   
17.                 reduce.toString(), result, null);   
18.         DBCollection resultColl = mapReduceOutput.getOutputCollection();   
19.         DBCursor cursor= resultColl.find();   
20.         while (cursor.hasNext()) {   
21.             System.out.println(cursor.next());   
22.         }   
23.     }   

mongodb mapreduce用法