Mongodb分區(Sharding)功能實現

標籤：實現   分區   mongod   sharding   

MongoDB 分區概述分區

在Mongodb裡面存在另一種叢集，就是分區技術,可以滿足MongoDB資料量大量增長的需求。

當MongoDB儲存海量的資料時，一台機器可能不足以儲存資料，也可能不足以提供可接受的讀寫輸送量。這時，我們就可以通過在多台機器上分割資料，使得資料庫系統能儲存和處理更多的資料。

為什麼使用分區

• 複製所有的寫入操作到主節點

• 延遲的敏感性資料會在主節點查詢

• 單個複本集限制在12個節點

• 當請求量巨大時會出現記憶體不足。

• 本地磁碟不足

• 垂直擴充價格昂貴

MongoDB分區

展示了在MongoDB中使用分區叢集結構分布：

650) this.width=650;" src="http://www.runoob.com/wp-content/uploads/2013/12/sharding.png" style="border:0px;margin:0px;padding:0px;height:auto;" alt="sharding.png" />

中主要有如下所述三個主要組件：

• Shard:

  用於儲存實際的資料區塊，實際生產環境中一個shard server角色可由幾台機器組個一個replica set承擔，防止主機單點故障

• Config Server:

  mongod執行個體，儲存了整個 ClusterMetadata，其中包括 chunk資訊。

• Query Routers:

  前端路由，用戶端由此接入，且讓整個叢集看上去像單一資料庫，前端應用可以透明使用。

分區執行個體

192.168.1.100 :   mongos

192.168.1.110 :   config server

192.168.1.101 :   Shard1

192.168.1.102 :   Shard2

以上四個主機上都以安裝mongodb資料庫。

一.配置config server

編輯設定檔mongod.conf:

vim /etc/mongod.conf

添加如下並啟用config server服務:

configsvr=true

重新啟動mongodb服務:

service mongod restart

注:預設監聽27019連接埠。也可以使用如下命令啟動mongod進程。

# mongod --configsvr --dbpath <path> --port <port>

此時，預設連接埠由27017變為27019：

650) this.width=650;" src="https://s2.51cto.com/wyfs02/M00/8F/26/wKioL1jU5xDSUa-9AABB4cvrN-8860.jpg-wh_500x0-wm_3-wmp_4-s_1114483490.jpg" title="2017-03-24_172929.jpg" alt="wKioL1jU5xDSUa-9AABB4cvrN-8860.jpg-wh_50" />

二.配置mongos執行個體

安裝mongos:

yum install mongodb-org-mongos-2.6.1-1.x86_64.rpm

啟動mongos：

mongos --configdb=192.168.1.110 --fork --logpath=/var/log/mongodb/mongos.log

注:mongos屬於輕量級應用，完全可以與其它服務運行於同一節點；啟動時，需要為mongos執行個體指明各config伺服器的訪問地址；

預設情況下，mongos監聽於27017連接埠；可以使用如下命令啟動mongos執行個體。

# mongos --configdb <config server hostnames((IP|Hostname):Port)>

也可以直接編輯設定檔：

1、注釋dbpath指令；

2、添加configdb指令，並指定config伺服器的地址；

而後使用如下命令啟動mongos執行個體：

# mongos -f /etc/mongod.conf

登入mongos並配置shard節點：

mongo --host 192.168.1.100mongos> sh.addShard("192.168.1.101"){ "shardAdded" : "shard0000", "ok" : 1 }mongos> sh.addShard("192.168.1.102"){ "shardAdded" : "shard0001", "ok" : 1 }

查看shard狀態：

mongos> sh.status()--- Sharding Status ---   sharding version: {"_id" : 1,"version" : 4,"minCompatibleVersion" : 4,"currentVersion" : 5,"clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d")}  shards:{  "_id" : "shard0000",  "host" : "192.168.1.101:27017" }{  "_id" : "shard0001",  "host" : "192.168.1.102:27017" }  databases:{  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

啟動sharding功能：

mongos> sh.enableSharding("testdb")；{ "ok" : 1 }

注:mongodb的shard功能實現於collection層級，但若要在collection上啟動shard，還需要事先其相關的資料庫上啟用之。在資料庫上啟用shard功能後，MongoDB會為其指定一個主shard。

啟用過程需要mongos執行個體上實現，可以使用sh.enableSharding()方法，也可以使用db.runCommand()的“enableSharding命令，它們的使用格式分別如下所示：

sh.enableSharding("<database>")db.runCommand( { enableSharding: <database> } )

此時，再次查看shard狀態為:

mongos> sh.status()--- Sharding Status ---   sharding version: {"_id" : 1,"version" : 4,"minCompatibleVersion" : 4,"currentVersion" : 5,"clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d")}  shards:{  "_id" : "shard0000",  "host" : "192.168.1.101:27017" }{  "_id" : "shard0001",  "host" : "192.168.1.102:27017" }  databases:{  "_id" : "testdb",  "partitioned" : true,  "primary" : "shard0000" }

測試：

在collection上進行sharding:

mongos> sh.shardCollection("testdb.student",{"age":1}){ "collectionsharded" : "testdb.student", "ok" : 1 }

插入資料:

mongos> for (i=1;i<=100000;i++) db.student.insert({name:"student"+i,age:(i%120),classes:"class+(i%10)"});WriteResult({ "nInserted" : 1 })

此時我們再次查看sharding狀態如下:

650) this.width=650;" src="https://s2.51cto.com/wyfs02/M00/8F/28/wKiom1jU7KLzU_tMAAEpDByx8Kk967.jpg-wh_500x0-wm_3-wmp_4-s_1262078485.jpg" title="狀態.jpg" alt="wKiom1jU7KLzU_tMAAEpDByx8Kk967.jpg-wh_50" />

Mongodb分區(Sharding)功能實現