配置mongodb分區群集(sharding cluster)-淘寶DBA

文章目錄

• Sharding cluster介紹
• 本例實際環境架構
• 軟體準備
• 配置relica sets
• 配置三台config server
• 配置mongs
• Configuring the Shard Cluster
• Collecton分區
• 分區collection例子

Sharding cluster介紹

這是一種可以水平擴充的模式，在資料量很大時特給力，實際大規模應用一般會採用這種架構去構建monodb系統。

 要構建一個 MongoDB Sharding Cluster，需要三種角色：

Shard Server: mongod 執行個體，用於儲存實際的資料區塊，實際生產環境中一個shard server角色可由幾台機器組個一個relica set承擔，防止主機單點故障

Config Server: mongod 執行個體，儲存了整個 Cluster Metadata，其中包括 chunk 資訊。

Route Server: mongos 執行個體，前端路由，用戶端由此接入，且讓整個叢集看上去像單一資料庫，前端應用可以透明使用。

Sharding架構圖:

本例實際環境架構

本例架構樣本圖：

1. 分別在3台機器運行一個mongod執行個體（稱為mongod shard11，mongod shard12，mongod shard13）組織replica set1，作為cluster的shard1
2. 分別在3台機器運行一個mongod執行個體（稱為mongod shard21，mongod shard22，mongod shard23）組織replica set2，作為cluster的shard2
3. 每台機器運行一個mongod執行個體，作為3個config server
4. 每台機器運行一個mongs進程，用於用戶端串連

主機	IP	連接埠資訊
Server1	10.1.1.1	mongod shard11:27017 mongod shard12:27018 mongod config1:20000 mongs1:30000
Server2	10.1.1.2	mongod shard12:27017 mongod shard22:27018 mongod config2:20000 mongs2:30000
Server3	10.1.1.3	mongod shard13:27017 mongod shard23:27018 mongod config3:20000 mongs3:30000

軟體準備

軟體準備
1. 建立使用者
groupadd -g 20001 mongodb
useradd -u 20001 -g mongodb mongodb
passwd mongodb

2. 安裝monodb軟體
su – mongodb
tar zxvf mongodb-linux-x86_64-1.6.2.tar
安裝好後，目錄結構如下：
$ tree mongodb-linux-x86_64-1.6.2
mongodb-linux-x86_64-1.6.2
|– GNU-AGPL-3.0
|– README
|– THIRD-PARTY-NOTICES
`– bin
    |– bsondump
    |– mongo
    |– mongod
    |– mongodump
    |– mongoexport
    |– mongofiles
    |– mongoimport
    |– mongorestore
    |– mongos
    |– mongosniff
    `– mongostat
1 directory, 14 files

3. 建立資料目錄
根據本例sharding架構圖所示，在各台sever上建立shard資料檔案目錄
Server1:
su – monodb
cd /home/monodb
mkdir -p data/shard11
mkdir -p data/shard21
Server2:
su – monodb
cd /home/monodb
mkdir -p data/shard11
mkdir -p data/shard22
Server3:
su – monodb
cd /home/monodb
mkdir -p data/shard13
mkdir -p data/shard23

配置relica sets

1. 配置shard1所用到的replica sets:
Server1:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard1 –port 27017 –dbpath /home/mongodb/data/shard11 –oplogSize 100 –logpath /home/mongodb/data/shard11.log –logappend –fork

Server2:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard1 –port 27017 –dbpath /home/mongodb/data/shard12 –oplogSize 100 –logpath /home/mongodb/data/shard12.log –logappend –fork

Server3:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard1 –port 27017 –dbpath /home/mongodb/data/shard13 –oplogSize 100 –logpath /home/mongodb/data/shard13.log –logappend –fork

初始化replica set
用mongo串連其中一個mongod，執行:
> config = {_id: ‘shard1′, members: [
                          {_id: 0, host: '10.1.1.1:27017'},
                          {_id: 1, host: '10.1.1.2:27017'},
                          {_id: 2, host: '10.1.1.3:27017'}]
           }

> rs.initiate(config);

同樣方法，配置shard2用到的replica sets:
server1:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard2 –port 27018 –dbpath /home/mongodb/data/shard21 –oplogSize 100 –logpath /home/mongodb/data/shard21.log –logappend –fork

server2:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard2 –port 27018 –dbpath /home/mongodb/data/shard22 –oplogSize 100 –logpath /home/mongodb/data/shard22.log –logappend –fork

server3:
cd /home/mongodb/mongodb-linux-x86_64-1.6.2/bin
./mongod –shardsvr –replSet shard2 –port 27018 –dbpath /home/mongodb/data/shard23 –oplogSize 100 –logpath /home/mongodb/data/shard23.log –logappend –fork

初始化replica set
用mongo串連其中一個mongod，執行:
> config = {_id: ‘shard2′, members: [
                          {_id: 0, host: '10.1.1.1:27018'},
                          {_id: 1, host: '10.1.1.2:27018'},
                          {_id: 2, host: '10.1.1.3:27018'}]
           }

> rs.initiate(config);

到此就配置好了二個replica sets，也就是準備好了二個shards

配置三台config server

Server1:
mkdir -p /home/mongodb/data/config
./mongod –configsvr –dbpath /home/mongodb/data/config –port 20000 –logpath /home/mongodb/data/config.log –logappend –fork   #config server也需要dbpath
 
Server2:
mkdir -p /home/mongodb/data/config
./mongod –configsvr –dbpath /home/mongodb/data/config –port 20000 –logpath /home/mongodb/data/config.log –logappend –fork

Server3:
mkdir -p /home/mongodb/data/config
./mongod –configsvr –dbpath /home/mongodb/data/config –port 20000 –logpath /home/mongodb/data/config.log –logappend –fork

配置mongs

在server1,server2,server3上分別執行：
./mongos –configdb 10.1.1.1:20000,10.1.1.2:20000,10.1.1.3:20000 –port 30000 –chunkSize 5 –logpath /home/mongodb/data/mongos.log –logappend –fork 
#mongs不需要dbpath

Configuring the Shard Cluster

串連到其中一個mongos進程，並切換到admin資料庫做以下配置
1. 串連到mongs，並切換到admin
./mongo 10.1.1.1:30000/admin
>db
Admin
2. 加入shards
如裡shard是單台伺服器，用>db.runCommand( { addshard : “<serverhostname>[:<port>]” } )這樣的命令加入，如果shard是replica sets，用replicaSetName/<serverhostname>[:port][,serverhostname2[:port],…]這樣的格式表示，例如本例執行：
>db.runCommand( { addshard : “shard1/10.1.1.1:27017,10.1.1.2:27017,10.1.1.3:27017″,name:”s1″,maxsize:20480} );
>db.runCommand( { addshard : “shard2/10.1.1.1:27018,10.1.1.2:27018,10.1.1.3:27018″,name:”s2″,maxsize:20480} );
注意：在添加第二個shard時，出現error:test database 已經存在的錯誤，這裡用mongo命令串連到第二個replica set，用db.dropDatabase()命令把test資料庫給刪除然後就可加入

3. 選擇性參數
Name:用於指定每個shard的名字，不指定的話系統將自動分配
maxSize:指定各個shard可使用的最大磁碟空間，單位megabytes

4. Listing shards
>db.runCommand( { listshards : 1 } )
如果列出了以上二個你加的shards，表示shards已經配置成功

5. 啟用資料庫分區
命令：
> db.runCommand( { enablesharding : “<dbname>” } );
通過執行以上命令，可以讓資料庫跨shard，如果不執行這步，資料庫只會存放在一個shard，一旦啟用資料庫分區，資料庫中不同的collection將被存放在不同的shard上，但一個collection仍舊存放在同一個shard上，要使單個collection也分區，還需單獨對collection作些操作

Collecton分區

要使單個collection也分區儲存，需要給collection指定一個分區key，通過以下命令操作：
> db.runCommand( { shardcollection : “<namespace>”,key : <shardkeypatternobject> });
註：
 a. 分區的collection系統會自動建立一個索引（也可使用者提前建立好）
 b. 分區的collection只能有一個在分區key上的唯一索引，其它唯一索引不被允許
One note: a sharded collection can have only one unique index, which must exist on the shard key. No other unique indexes can exist on the collection.

分區collection例子

>db.runCommand( { shardcollection : “test.c1″,key : {id: 1} } )
>for (var i = 1; i <= 200003; i++) db.c1.save({id:i,value1:”1234567890″,value2:”1234567890″,value3:”1234567890″,value4:”1234567890″});
> db.c1.stats()
{
        “sharded” : true,
        “ns” : “test.c1″,
        “count” : 200003,
        “size” : 25600384,
        “avgObjSize” : 128,
        “storageSize” : 44509696,
        “nindexes” : 2,
        “nchunks” : 15,
        “shards” : {
                “s1″ : {
                        “ns” : “test.c1″,
                        “count” : 141941,
                        “size” : 18168448,
                        “avgObjSize” : 128,
                        “storageSize” : 33327616,
                        “numExtents” : 8,
                        “nindexes” : 2,
                        “lastExtentSize” : 12079360,
                        “paddingFactor” : 1,
                        “flags” : 1,
                        “totalIndexSize” : 11157504,
                        “indexSizes” : {
                                “_id_” : 5898240,
                                “id_1″ : 5259264
                        },
                        “ok” : 1
                },
                “s2″ : {
                        “ns” : “test.c1″,
                        “count” : 58062,
                        “size” : 7431936,
                        “avgObjSize” : 128,
                        “storageSize” : 11182080,
                        “numExtents” : 6,
                        “nindexes” : 2,
                        “lastExtentSize” : 8388608,
                        “paddingFactor” : 1,
                        “flags” : 1,
                        “totalIndexSize” : 4579328,
                        “indexSizes” : {
                                “_id_” : 2416640,
                                “id_1″ : 2162688
                        },
                        “ok” : 1
                }
        },
        “ok” : 1
}