MongoDB aggregate 運用篇個人總結_MongoDB

最近一直在用mongodb，有時候會需要用到統計，在網上查了一些資料，最適合用的就是用aggregate，以下介紹一下自己運用的心得。。

MongoDB 彙總
MongoDB中彙總(aggregate)主要用於處理資料(諸如統計平均值,求和等)，並返回計算後的資料結果。有點類似sql語句中的 count(*)。
aggregate() 方法
MongoDB中彙總的方法使用aggregate()。
文法
aggregate() 方法的基本文法格式如下所示：

db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)
執行個體

集合中的資料如下：

{  _id: ObjectId(7df78ad8902c)  title: 'MongoDB Overview',   description: 'MongoDB is no sql database',  by_user: 'jb51.net',  url: 'http://www.jb51.net',  tags: ['mongodb', 'database', 'NoSQL'],  likes: 100},{  _id: ObjectId(7df78ad8902d)  title: 'NoSQL Overview',   description: 'No sql database is very fast',  by_user: 'jb51.net',  url: 'http://www.jb51.net',  tags: ['mongodb', 'database', 'NoSQL'],  likes: 10},{  _id: ObjectId(7df78ad8902e)  title: 'Neo4j Overview',   description: 'Neo4j is no sql database',  by_user: 'Neo4j',  url: 'http://www.neo4j.com',  tags: ['neo4j', 'database', 'NoSQL'],  likes: 750},

現在我們通過以上集合計算每個作者所寫的文章數，使用aggregate()計算結果如下：

> db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}]){  "result" : [   {     "_id" : "w3cschool.cc",     "num_tutorial" : 2   },   {     "_id" : "Neo4j",     "num_tutorial" : 1   }  ],  "ok" : 1}>

以上執行個體類似sql語句： select by_user, count(*) from mycol group by by_user
在上面的例子中，我們通過欄位by_user欄位對資料進行分組，並計算by_user欄位相同值的總和。
下表展示了一些彙總的運算式:

運算式	描述	執行個體
$sum	計算總和。	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}])
$avg	計算平均值	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}])
$min	擷取集合中所有文檔對應值得最小值。	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}])
$max	擷取集合中所有文檔對應值得最大值。	db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}])
$push	在結果文檔中插入值到一個數組中。	db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}])
$addToSet	在結果文檔中插入值到一個數組中，但不棄置站台。	db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}])
$first	根據資來源文件的排序擷取第一個文檔資料。	db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}])
$last	根據資來源文件的排序擷取最後一個文檔資料	db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}])

管道的概念
管道在Unix和Linux中一般用於將當前命令的輸出結果作為下一個命令的參數。
MongoDB的彙總管道將MongoDB文檔在一個管道處理完畢後將結果傳遞給下一個管道處理。管道操作是可以重複的。
運算式：處理輸入文檔並輸出。運算式是無狀態的，只能用於計算當前彙總管道的文檔，不能處理其它的文檔。
這裡我們介紹一下彙總架構中常用的幾個操作：
$project：修改輸入文檔的結構。可以用來重新命名、增加或刪除域，也可以用於建立計算結果以及嵌套文檔。
$match：用於過濾資料，只輸出合格文檔。$match使用MongoDB的標準查詢操作。
$limit：用來限制MongoDB彙總管道返回的文檔數。
$skip：在彙總管道中跳過指定數量的文檔，並返回餘下的文檔。
$unwind：將文檔中的某一個數群組類型欄位拆分成多條，每條包含數組中的一個值。
$group：將集合中的文檔分組，可用於統計結果。
$sort：將輸入文檔排序後輸出。
$geoNear：輸出接近某一地理位置的有序文檔。

管道操作符執行個體

1、$project執行個體

db.article.aggregate(  { $project : {    title : 1 ,    author : 1 ,  }} );

這樣的話結果中就只還有_id,tilte和author三個欄位了，預設情況下_id欄位是被包含的，如果要想不包含_id話可以這樣:

db.article.aggregate(  { $project : {    _id : 0 ,    title : 1 ,    author : 1  }});

2.$match執行個體

db.articles.aggregate( [            { $match : { score : { $gt : 70, $lte : 90 } } },            { $group: { _id: null, count: { $sum: 1 } } }            ] );

$match用於擷取分數大於70小於或等於90記錄，然後將合格記錄送到下一階段$group管道操作符進行處理。

3.$skip執行個體

db.article.aggregate(  { $skip : 5 });

經過$skip管道操作符處理後，前五個文檔被"過濾"掉。

別人寫過的我就不過多描述了，大家一搜能搜尋到N多一樣的，我寫一下我的總結。

基礎知識

請大家自行尋找更多，以下是關鍵文檔。

操作符介紹：

$project：包含、排除、重新命名和顯示欄位
$match：查詢，需要同find()一樣的參數
$limit：限制結果數量
$skip：忽略結果的數量
$sort：按照給定的欄位排序結果
$group：按照給定運算式組合結果
$unwind：分割嵌入數組到自己頂層檔案

文檔：MongoDB 官方aggregate說明。

相關使用：

db.collection.aggregate([array]);

array可是是任何一個或多個操作符。
group和match的用法，使用過sqlserver，group的用法很好理解，根據指定列進行分組統計，可以統計分組的數量，也能統計分組中的和或者平均值等。
group之前的match，是對來源資料進行查詢，group之後的match是對group之後的資料進行篩選；

同理，sort，skip，limit也是同樣的原理；

 {_id:1,name:"a",status:1,num:1} {_id:2,name:"a",status:0,num:2} {_id:3,name:"b",status:1,num:3} {_id:4,name:"c",status:1,num:4} {_id:5,name:"d",status:1,num:5}

以下是樣本：
應用一：統計name的數量和總數；

db.collection.aggregate([　　{$group:{_id:"$name",count:{$sum:1},total:{$sum:"$num"}}]);

應用二：統計status=1的name的數量；

db.collection.aggregate([　　{$match:{status:1}},　　{$group:{_id:"$name",count:{$sum:1}}}]);

應用三：統計name的數量，並且數量為小於2的；

db.collection.aggregate([　　{$group:{_id:"$name",count:{$sum:1}},　　{$match:{count:{$lt:2}}}]);

應用四：統計stauts=1的name的數量，並且數量為1的；

db.collection.aggregate([　　{$match:{status:1}},　　{$group:{_id:"$name",count:{$sum:1}}},　　{$match:{count:1}}]);

多列group，根據name和status進行多列

db.collection.aggregate([　　{$group:{_id:{name:"$name",st:"$status"},count:{$sum:1}}}]);

$project該操作符很簡單，

db.collection.aggregate([　　{$project:{name:1,status:1}}]);

結果是，只有_id,name,status三個欄位的表資料，相當於sql運算式 select _id,name,status from collection
 
$unwind
這個操作符可以將一個數組的文檔拆分為多條文檔，在特殊條件下有用，本人暫沒有進行過多的研究。
 
以上基本就可以實現大部分統計了，group前條件，group後條件，是重點。