MongoDB Advance (MongoDB Auto-sharding 研究)

跳過理論東西，網上有介紹自動分區的...直接進入配置，有疑問請留言

還是以1000W級資料做測試

不分區的情況下,插入1000W條資料到一個資料庫。

資料存放區情況如下：

^_^[root@:/usr/local/mongodb/data/mongodb/test]#ls -lhtotal 4.0G-rw------- 1 root root  64M Jul 25 11:25 test.0-rw------- 1 root root 128M Jul 25 11:22 test.1-rw------- 1 root root 256M Jul 25 11:23 test.2-rw------- 1 root root 512M Jul 25 11:25 test.3-rw------- 1 root root 1.0G Jul 25 11:25 test.4-rw------- 1 root root 2.0G Jul 25 11:24 test.5-rw------- 1 root root  16M Jul 25 11:25 test.ns

下面進行自動分區配置：

這裡我們選擇兩台Server做測試

測試機IP為：

10.X.X.163

10.X.X.228

分別在163，228伺服器上啟動Shardsvr進程

^_^[root@:/usr/local/mongodb/bin]#cat runServerShard.sh ./mongod --shardsvr -dbpath=../data/mongodb --logpath=../data/shardsvr_logs.txt --logappend --fork

在163伺服器上啟動configsvr 和 mongos路由進程(下面的27019為configsvr的ip，mongos的ip請到log裡面去看)

[root@localhost bin]# cat runServerConfig.sh ./mongod --configsvr --dbpath=../data/mongodb/config_db/ --logpath=../data/mongodb/log/configsvr_logs.txt --logappend --fork [root@localhost bin]# cat runServerMongos.sh ./mongos --configdb 10.10.21.163:27019 --logpath=../data/mongodb/log/mongos_logs.txt --logappend --fork

查看下是否都啟動成功：

[root@localhost bin]# ps -ef | grep 'mongo'root     17939     1  2 18:47 ?        00:01:26 ./mongod --shardsvr -dbpath=../data/mongodb --logpath=../data/shardsvr_logs.txt --logappend --forkroot     18250     1  0 19:05 ?        00:00:00 ./mongod --configsvr --dbpath=../data/mongodb/config_db/ --logpath=../data/mongodb/log/configsvr_logs.txt --logappend --forkroot     18290     1 12 19:08 ?        00:03:35 ./mongos --configdb 10.10.21.163:27019 --logpath=../data/mongodb/log/mongos_logs.txt --logappend --fork

可見3個服務都已經啟動成功。

下面進入配置自動分區：

用mongo串連mongos進程（去log裡面看）進行組態管理：

> use adminswitched to db admin> db.runCommand({addshard:"10.10.21.163:27018"});{ "ok" : 0, "errmsg" : "host already used" }> db.runCommand({addshard:"10.7.3.228:27018"});{ "shardAdded" : "shard0001", "ok" : 1 }> db.runCommand({enableSharding:"test"}){ "ok" : 1 }> db.runCommand({shardcollection:"test.users",key:{_id:1}}){ "collectionsharded" : "test.users", "ok" : 1 }

向mongos進程進行插入1000W資料

來看下資料的大小：

163：

^_^[root@:/usr/local/mongodb/data/mongodb]#ls -lhtotal 2.0G-rw-r--r-- 1 root root 1011 Jul 25 12:33 mongodb.log-rwxr-xr-x 1 root root    6 Jul 25 12:34 mongod.lockdrwxr-xr-x 3 root root 4.0K Jul 25 12:39 moveChunk-rw------- 1 root root  64M Jul 25 12:42 test.0-rw------- 1 root root 128M Jul 25 12:40 test.1-rw------- 1 root root 256M Jul 25 12:41 test.2-rw------- 1 root root 512M Jul 25 12:42 test.3-rw------- 1 root root 1.0G Jul 25 12:41 test.4-rw------- 1 root root  16M Jul 25 12:42 test.nsdrwxr-xr-x 2 root root 4.0K Jul 25 12:38 _tmp

228：

[root@localhost mongodb]# ls -lh總計 2.0Gdrwxr-xr-x 3 root root 4.0K 07-25 19:39 config_dbdrwxr-xr-x 2 root root 4.0K 07-25 18:51 config_repair_dbdrwxr-xr-x 2 root root 4.0K 07-25 19:39 log-rwxr-xr-x 1 root root    6 07-25 19:39 mongod.lockdrwxr-xr-x 3 root root 4.0K 07-25 19:13 moveChunk-rw------- 1 root root  64M 07-25 20:38 test.0-rw------- 1 root root 128M 07-25 20:38 test.1-rw------- 1 root root 256M 07-25 20:40 test.2-rw------- 1 root root 512M 07-25 20:41 test.3-rw------- 1 root root 1.0G 07-25 20:42 test.4-rw------- 1 root root  16M 07-25 20:38 test.nsdrwxr-xr-x 2 root root 4.0K 07-25 20:38 _tmp

自動分區成每個2G。