MongoDB資料檔案內部結構

原文地址：http://blog.nosqlfan.com/html/3515.html

 

有人在Quora上提問：MongoDB資料檔案內部的組織圖是什麼樣的。隨後10gen的工程師Jared Rosoff出來做了簡短的回答。

每一個資料庫都有自己獨立的檔案。如果你開啟了directoryperdb選項，那你每個庫的檔案會單獨放在一個檔案夾裡。

資料庫檔案在內部會被切分成單個的塊，每個塊只儲存一個名字空間的資料。在MongoDB中，名字空間用於區分不同的儲存類別。比如每個collection有一個獨立的名字空間，每個索引也有自己的名字空間。

在一個塊中，會儲存多條記錄，每條記錄是BSON格式的，記錄與記錄之間通過雙向鏈表進行串連。

索引資料也存在資料檔案中，不過索引是被組織成B-Tree結構，而不是雙向鏈表。

對每個資料庫，有一個命名空間檔案，用於儲存每個名字空間對應的中繼資料。我們通過查詢這些中繼資料來找到對應的名字空間的儲存塊位置。

如果你開啟了jorunaling日誌，那麼還會有一些檔案儲存體著你所有的操作記錄。

下面圖片摘自10gen工程師Mathias Stearn在MongoSV2011大會上的發言稿，手繪的資料檔案結構。

1.每個資料庫有相應的資料檔案和命名空間檔案

2.資料檔案從16MB開始，新的資料檔案比上一個檔案大一倍，最大為2GB

3.檔案使用MMAP進行記憶體映射，會將所有資料檔案映射到記憶體中，但是只是虛擬記憶體，只有訪問到這塊資料時才會交換到實體記憶體。

4.MongoDB的資料檔案映射到記憶體表中的位置

5.使用32位機器的話，記憶體位址最大可以標識4GB記憶體

6.但是在32位機器上，4GB記憶體會有1GB被核心戰勝，大約0.5GB會用於mongod進程的stack空間，只剩下大約2.5GB可用於映射資料檔案。

7.在64位機器上則最多可以表示128TB的空間

8.每個資料檔案會被分成一個一個的資料區塊，塊與塊之間用雙向鏈表串連

9.在名字空間檔案中，儲存了每個名字空間的儲存資訊中繼資料，包括其大小，塊數，第一塊位置，最後一塊位置，被刪除的塊的鏈表以及索引資訊

10.這些位置通過DiskLoc資料結構進行儲存，儲存了資料檔案編號和塊在檔案中的位置

11.對每一個塊來說，其頭部包含了一些塊的中繼資料，比如自己的位置，上一個和下一個塊的位置以及塊中第一條和最後一條記錄的位置指標。剩下的部分用於儲存具體的資料，具體資料之間也是通過雙向連結來進行串連。

12.下面是B-Tree的儲存結構和工作原理