MongoDB索引原理

標籤：partial   持久化   tor   single   git   特定   資料   檔案   常見   

當你往某各個集合插入多個文檔後，每個文檔在經過底層的儲存引擎持久化後，會有一個位置資訊，通過這個位置資訊，就能從儲存引擎裡讀出該文檔。比如mmapv1引擎裡，位置資訊是『檔案id + 檔案內offset 』， 在wiredtiger儲存引擎（一個KV儲存引擎）裡，位置資訊是wiredtiger在儲存文檔時產生的一個key，通過這個key能訪問到對應的文檔；為方便介紹，統一用pos(position的縮寫)來代表位置資訊。

位置資訊	文檔
pos1	{“name” : “jack”, “age” : 19 }
pos2	{“name” : “rose”, “age” : 20 }
pos3	{“name” : “jack”, “age” : 18 }
pos4	{“name” : “tony”, “age” : 21}
pos5	{“name” : “adam”, “age” : 18}

 

 

假設現在有個查詢 db.person.find( {age: 18} ), 查詢所有年齡為18歲的人，這時需要遍曆所有的文檔（『全表掃描』），根據位置資訊讀出文檔，對比age欄位是否為18。當然如果只有4個文檔，全表掃描的開銷並不大，但如果集合文檔數量到百萬、甚至千萬上億的時候，對集合進行全表掃描開銷是非常大的，一個查詢耗費數十秒甚至幾分鐘都有可能。

如果想加速 db.person.find( {age: 18} ），就可以考慮對person表的age欄位建立索引。

db.person.createIndex( {age: 1} )  // 按age欄位建立升序索引

建立索引後，MongoDB會額外儲存一份按age欄位升序排序的索引資料，索引結構類似如下，索引通常採用類似btree的結構持久化儲存，以保證從索引裡快速（O(logN)的時間複雜度）找出某個age值對應的位置資訊，然後根據位置資訊就能讀取出對應的文檔。

age	位置資訊
18	pos3
18	pos5
19	pos1
20	pos2
21	pos4

簡單的說，索引就是將文檔按照某個（或某些）欄位順序組織起來，以便能根據該欄位高效的查詢。有了索引，至少能最佳化如下情境的效率：

• 查詢，比如查詢年齡為18的所有人
• 更新/刪除，將年齡為18的所有人的資訊更新或刪除，因為更新或刪除時，需要根據條件先查詢出所有合格文檔，所以本質上還是在最佳化查詢
• 排序，將所有人的資訊按年齡排序，如果沒有索引，需要全表掃描文檔，然後再對掃描的結果進行排序

眾所周知，MongoDB預設會為插入的文檔產生_id欄位（如果應用本身沒有指定該欄位），_id是文檔唯一的標識，為了保證能根據文檔id快遞查詢文檔，MongoDB預設會為集合建立_id欄位的索引。

mongo-9552:PRIMARY> db.person.getIndexes() // 查詢集合的索引資訊[    {        "ns" : "test.person",  // 集合名        "v" : 1,               // 索引版本        "key" : {              // 索引的欄位及排序方向            "_id" : 1           // 根據_id欄位升序索引        },        "name" : "_id_"        // 索引的名稱    }]

MongoDB索引類型

MongoDB支援多種類型的索引，包括單欄位索引、複合索引、多key索引、文本索引等，每種類型的索引有不同的使用場合。

單欄位索引 （Single Field Index）

db.person.createInd

上述語句針對age建立了單欄位索引，其能加速對age欄位的各種查詢請求，是最常見的索引形式，MongoDB預設建立的id索引也是這種類型。

{age: 1} 代表升序索引，也可以通過{age: -1}來指定降序索引，對於單欄位索引，升序/降序效果是一樣的。

複合索引 (Compound Index)

複合索引是Single Field Index的升級版本，它針對多個欄位聯合建立索引，先按第一個欄位排序，第一個欄位相同的文檔按第二個欄位排序，依次類推，如下針對age, name這2個欄位建立一個複合索引。

e: 1} ) 

 

db.person.createIndex( {age: 1, name: 1} ) 

上述索引對應的資料群組織類似下表，與{age: 1}索引不同的時，當age欄位相同時，在根據name欄位進行排序，所以pos5對應的文檔排在pos3之前。

age	位置資訊
18	pos5
18	pos3
19	pos1
20	pos2
21	pos4

複合索引能滿足的查詢情境比單欄位索引更豐富，不光能滿足多個欄位組合起來的查詢，比如db.person.find( {age： 18， name: "jack"} )，也能滿足所以能匹配符合索引首碼的查詢，這裡{age: 1}即為{age: 1, name: 1}的首碼，所以類似db.person.find( {age： 18} )的查詢也能通過該索引來加速；但db.person.find( {name: "jack"} )則無法使用該複合索引。如果經常需要根據『name欄位』以及『name和age欄位組合』來查詢，則應該建立如下的複合索引

db.person.createIndex( {name: 1, age: 1} ) 

除了查詢的需求能夠影響索引的順序，欄位的值分布也是一個重要的考量因素，即使person集合所有的查詢都是『name和age欄位組合』（指定特定的name和age），欄位的順序也是有影響的。

age欄位的取值很有限，即擁有相同age欄位的文檔會有很多；而name欄位的取值則豐富很多，擁有相同name欄位的文檔很少；顯然先按name欄位尋找，再在相同name的文檔裡尋找age欄位更為高效。

多key索引 （Multikey Index）

當索引的欄位為數組時，建立出的索引稱為多key索引，多key索引會為數組的每個元素建立一條索引，比如person表加入一個habbit欄位（數組）用於描述興趣愛好，需要查詢有相同興趣愛好的人就可以利用habbit欄位的多key索引。

{"name" : "jack", "age" : 19, habbit: ["football, runnning"]}db.person.createIndex( {habbit: 1} )  // 自動建立多key索引db.person.find( {habbit: "football"} )

其他類型索引

雜湊索引（Hashed Index）是指按照某個欄位的hash值來建立索引，目前主要用於MongoDB Sharded Cluster的Hash分區，hash索引只能滿足欄位完全符合的查詢，不能滿足範圍查詢等。

地理位置索引（Geospatial Index）能很好的解決O2O的應用情境，比如『尋找附近的美食』、『尋找某個地區內的車站』等。

文本索引（Text Index）能解決快速文字尋找的需求，比如有一個部落格文章集合，需要根據部落格的內容來快速尋找，則可以針對部落格內容建立文本索引。

索引額外屬性

MongoDB除了支援多種不同類型的索引，還能對索引定製一些特殊的屬性。

• 唯一索引 (unique index)：保證索引對應的欄位不會出現相同的值，比如_id索引就是唯一索引
• TTL索引：可以針對某個時間欄位，指定文檔的到期時間（經過指定時間後到期 或 在某個時間點到期）
• 部分索引 (partial index): 只針對符合某個特定條件的文檔建立索引，3.2版本才支援該特性
• 稀疏索引(sparse index): 只針對存在索引欄位的文檔建立索引，可看做是部分索引的一種特殊情況

索引最佳化db profiling

MongoDB支援對DB的請求進行profiling，目前支援3種層級的profiling。

• 0： 不開啟profiling
• 1： 將處理時間超過某個閾值(預設100ms)的請求都記錄到DB下的system.profile集合 （類似於mysql、redis的slowlog）
• 2： 將所有的請求都記錄到DB下的system.profile集合（生產環境慎用）

通常，生產環境建議使用1層級的profiling，並根據自身需求配置合理的閾值，用於監測慢請求的情況，並及時的做索引最佳化。

如果能在集合建立的時候就能『根據業務查詢需求決定應該建立哪些索引』，當然是最佳的選擇；但由於業務需求多變，要根據實際情況不斷的進行最佳化。索引並不是越多越好，集合的索引太多，會影響寫入、更新的效能，每次寫入都需要更新所有索引的資料；所以你system.profile裡的慢請求可能是索引建立的不夠導致，也可能是索引過多導致。

查詢計劃

索引已經建立了，但查詢還是很慢怎麼破？這時就得深入的分析下索引的使用方式了，可通過查看下詳細的查詢計劃來決定如何最佳化。通過執行計畫可以看出如下問題

1. 根據某個/些欄位查詢，但沒有建立索引
2. 根據某個/些欄位查詢，但建立了多個索引，執行查詢時沒有使用預期的索引。

建立索引前，db.person.find( {age： 18} )必須執行COLLSCAN，即全表掃描。

mongo-9552:PRIMARY> db.person.find({age: 18}).explain(){    "queryPlanner" : {        "plannerVersion" : 1,        "namespace" : "test.person",        "indexFilterSet" : false,        "parsedQuery" : {            "age" : {                "$eq" : 18            }        },        "winningPlan" : {            "stage" : "COLLSCAN",            "filter" : {                "age" : {                    "$eq" : 18                }            },            "direction" : "forward"        },        "rejectedPlans" : [ ]    },    "serverInfo" : {        "host" : "localhost",        "port" : 9552,        "version" : "3.2.3",        "gitVersion" : "b326ba837cf6f49d65c2f85e1b70f6f31ece7937"    },    "ok" : 1}

建立索引後，通過查詢計劃可以看出，先進行IXSCAN(從索引中尋找)，然後FETCH，讀取出滿足條件的文檔。

 1 mongo-9552:PRIMARY> db.person.find({age: 18}).explain() 2 { 3     "queryPlanner" : { 4         "plannerVersion" : 1, 5         "namespace" : "test.person", 6         "indexFilterSet" : false, 7         "parsedQuery" : { 8             "age" : { 9                 "$eq" : 1810             }11         },12         "winningPlan" : {13             "stage" : "FETCH",14             "inputStage" : {15                 "stage" : "IXSCAN",16                 "keyPattern" : {17                     "age" : 118                 },19                 "indexName" : "age_1",20                 "isMultiKey" : false,21                 "isUnique" : false,22                 "isSparse" : false,23                 "isPartial" : false,24                 "indexVersion" : 1,25                 "direction" : "forward",26                 "indexBounds" : {27                     "age" : [28                         "[18.0, 18.0]"29                     ]30                 }31             }32         },33         "rejectedPlans" : [ ]34     },35     "serverInfo" : {36         "host" : "localhost",37         "port" : 9552,38         "version" : "3.2.3",39         "gitVersion" : "b326ba837cf6f49d65c2f85e1b70f6f31ece7937"40     },41     "ok" : 142 }

參考資料

• MongoDB索引介紹
• createIndex命令
• MongoDB Sharded Cluster
• 唯一索引 (unique index)
• TTL索引
• 部分索引 (partial index)
• 稀疏索引(sparse index)
• database profiling

MongoDB索引原理