Mongodb的彙總和管道

標籤：集合   com   .com   dfa   ade   添加   統計   strong   新版本   

MongoDB 彙總

MongoDB中彙總(aggregate)主要用於處理資料(諸如統計平均值,求和等)，並返回計算後的資料結果。

aggregate() 方法

MongoDB中彙總的方法使用aggregate()。

文法

aggregate() 方法的基本文法格式如下所示：

>db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

 

註：參數AGGREGATE_OPERATION可以是一個對象（單個處理），也可以是多個對象的數組（管道處理）。

 

 

 

> db.person.find()

{ "_id" : ObjectId("592ffd872108e8e79ea902b0"), "name" : "zjf", "age" : 30 }

{ "_id" : ObjectId("593011c8a92497992cdfac10"), "name" : "xhj", "age" : 30 }

{ "_id" : ObjectId("59301270a92497992cdfac11"), "name" : "zzj", "age" : 2 }

{ "_id" : ObjectId("593015fda92497992cdfac12"), "name" : "my second child", "age" : "i do not know" }

 

//$group代表分組 分組的內容裡的是要返回的列的名稱 第一列的名稱_id是不能改變的 代表以它進行分組 後面的列是匯總列 可以隨便明明 $sum是匯總的方式 1是匯總的內容 可以是列如’$age’ 也可以是數值 此處 sum(1)就是count(*)的意思了。

 

> db.person.aggregate({$group : {_id: ‘$age‘, count : {$sum : 1}}})

{ "_id" : "i do not know", "count" : 1 }

{ "_id" : 2, "count" : 1 }

{ "_id" : 30, "count" : 2 }

$group : 將集合中的文檔分組，可用於統計結果，$group首先將資料根據key進行分組。

      $group文法： { $group: { _id: <expression>, <field1>: { <accumulator1> : <expression1> }, ... } }

          _id 是要進行分組的key

       $group：可以分組的資料執行如下的運算式計算：

           $sum：計算總和。

           $avg：計算平均值。

           $min：根據分組，擷取集合中所有文檔對應值得最小值。

           $max：根據分組，擷取集合中所有文檔對應值得最大值。

           $push：將指定的運算式的值添加到一個數組中。

           $addToSet：將運算式的值添加到一個集合中（無重複值）。

           $first：返回每組第一個文檔，如果有排序，按照排序，如果沒有按照預設的儲存的順序的第一個文檔。

           $last：返回每組最後一個文檔，如果有排序，按照排序，如果沒有按照預設的儲存的順序的最後個文檔。

 

 

管道操作的限制：

每個階段管道限制為100MB的記憶體。如果一個節點管道超過這個極限,MongoDB將產生一個錯誤。為了能夠在處理大型資料集,可以設定allowDiskUse為true來在彙總管道節點把資料寫入臨時檔案。這樣就可以解決100MB的記憶體的限制。

這個限制可能最新版本會沒有了，如果用到的時候可以去https://docs.mongodb.com/查一查官方手冊。

 

 

管道的概念

管道在Unix和Linux中一般用於將當前命令的輸出結果作為下一個命令的參數。

MongoDB的彙總管道將MongoDB文檔在一個管道處理完畢後將結果傳遞給下一個管道處理。管道操作是可以重複的。

運算式：處理輸入文檔並輸出。運算式是無狀態的，只能用於計算當前彙總管道的文檔，不能處理其它的文檔。

這裡我們介紹一下彙總架構中常用的幾個操作：

• $project：修改輸入文檔的結構。可以用來重新命名、增加或刪除域，也可以用於建立計算結果以及嵌套文檔。
• $match：用於過濾資料，只輸出合格文檔。$match使用MongoDB的標準查詢操作。
• $limit：用來限制MongoDB彙總管道返回的文檔數。
• $skip：在彙總管道中跳過指定數量的文檔，並返回餘下的文檔。
• $unwind：將文檔中的某一個數群組類型欄位拆分成多條，每條包含數組中的一個值。
• $group：將集合中的文檔分組，可用於統計結果。
• $sort：將輸入文檔排序後輸出。
• $geoNear：輸出接近某一地理位置的有序文檔。

管道操作符執行個體

1、$project執行個體

db.article.aggregate(

    { $project : {

        title : 1 ,

        author : 1 ,

    }}

 );

這樣的話結果中就只還有_id,tilte和author三個欄位了，預設情況下_id欄位是被包含的，如果要想不包含_id話可以這樣:

db.article.aggregate(

    { $project : {

        _id : 0 ,

        title : 1 ,

        author : 1

    }});

2.$match執行個體

db.articles.aggregate( [

                        { $match : { score : { $gt : 70, $lte : 90 } } },

                        { $group: { _id: null, count: { $sum: 1 } } }

                       ] );

$match用於擷取分數大於70小於或等於90記錄，然後將合格記錄送到下一階段$group管道操作符進行處理。

3.$skip執行個體

db.article.aggregate(

    { $skip : 5 });

經過$skip管道操作符處理後，前五個文檔被"過濾"掉。

 

Mongodb的彙總和管道