Mongodb和KT的雙機房災備配置方案嘗試

假設有2個機房（測試伺服器2/3以及123/124）互為災備（災備機房在主機房對外服務時處於待命），應用都只串連自己機房的儲存服務（mongodb1.6.5和kt 0.9.28），兩個機房之間的儲存服務需要相互同步，嘗試方案如下：

編號	機器IP和連接埠	服務	備忘
1	192.168.2.2:10000	主機房Mongodb masterA	和8雙向同步
2	192.168.2.2:20000	主機房Mongodb replica set1	2，5，9，12是資料節點，7，14是鑒證節點
3	192.168.2.2:30000	主機房Kt node1	和10雙向同步
4	192.168.2.3:10000	主機房Mongodb slaveA	從1，8複製資料
5	192.168.2.3:20000	主機房Mongodb replica set2	2，5，9，12是資料節點，7，14是鑒證節點
6	192.168.2.3:30000	主機房Kt node2	和13雙向同步
7	192.168.2.3:40000	主機房Mongodb replica arb1	鑒證伺服器1
8	192.168.2.123:10000	災備機房Mongodb masterB	和1雙向同步
9	192.168.2.123:20000	災備機房Mongodb replica set3	2，5，9，12是資料節點，7，14是鑒證節點
10	192.168.2.123:30000	災備機房Kt node1	和3雙向同步
11	192.168.2.124:10000	災備機房Mongodb slaveB	從1，8複製資料
12	192.168.2.124:20000	災備機房Mongodb replica set4	2，5，9，12是資料節點，7，14是鑒證節點
13	192.168.2.124:30000	災備機房Kt node2	和6雙向同步
14	192.168.2.124:40000	災備機房Mongodb replica arb2	鑒證伺服器2

此套配置特點如下：

1 Mongodb Master / Slave 結構資料儲存4份

2 Mongodb Replica Sets 結構資料儲存4份

3 KT2個節點，每一個節點資料儲存2份（如果把KT像memcached那樣使用，在用戶端hash key到不同節點的話，需要用戶端支援對於不同的伺服器IP可以使用相同的hash，也就是不以endpoint作為hash的值，在容錯移轉之後保持相同key存和取相同的節點，這僅是用戶端的邏輯，對於服務端來只需要考慮一組節點之間的同步）

4 切換到災備機房之後，不需要做任何配置改動，主機房起來之後，需要確定Replica Set的活動伺服器在災備機房，否則可能會存在災備機房的應用還是在訪問主機房的儲存服務

說明：

1 之所以除了4個replica set還需要兩個鑒證節點是因為經測試如果同一機房兩個replica set快速關閉的話，不能正確選舉master，如果不需要保證同一機房資料備份的話，可以考慮只用兩個資料節點

2 經測試發現如果11不訂閱1，只能接受8的資料改動，1的資料改動不會過來，這也是Mongodb的一個缺陷吧，不能級聯複製，如果訂閱1，那麼會在專線中產生兩份頻寬

 

具體配置如下

192.168.2.2

mongodb主 連接埠 10000/11000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend --master --slave --source 192.168.2.123:10000 --slavedelay 10 --autoresync

mongodb relica set 1 連接埠 20000/21000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 –logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000

config = {_id: 'blub', members: [

{_id: 0, host: '192.168.2.2:20000'},

{_id: 1, host: '192.168.2.3:20000'},

{_id: 2, host: '192.168.2.123:20000'},

{_id: 3, host: '192.168.2.124:20000'},

]}

rs.initiate(config)

rs.status()

rs.addArb("192.168.2.124:40000")

rs.addArb("192.168.2.3:40000")

kt node1 連接埠 30000/31000

kchashmgr create /opt/kt/30000.kch

ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 1 -mhost 192.168.2.123 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" -dmn /opt/kt/30000.kch

192.168.2.3

mongodb從 連接埠 10000/11000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend –slave --slavedelay 2 --autoresync

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 10000

use local

db.sources.insert({"host":"192.168.2.2:10000"});

db.sources.insert({"host":"192.168.2.123:10000"});

mongodb relica set 2 連接埠 20000/21000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 –logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 40000 --dbpath /opt/mongodb/40000 --logpath /opt/mongodb/40000/log --replSet blub --rest --oplogSize 1 –logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000

config = {_id: 'blub', members: [

{_id: 0, host: '192.168.2.2:20000'},

{_id: 1, host: '192.168.2.3:20000'},

{_id: 2, host: '192.168.2.123:20000'},

{_id: 3, host: '192.168.2.124:20000'},

]}

rs.initiate(config)

rs.status()

rs.addArb("192.168.2.124:40000")

rs.addArb("192.168.2.3:40000")

kt node2 連接埠 30000/31000

kchashmgr create /opt/kt/30000.kch

ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 1 -mhost 192.168.2.124 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" -dmn /opt/kt/30000.kch

192.168.2.123

mongodb主 連接埠 10000/11000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend --master --slave --source 192.168.2.2:10000 --slavedelay 10 --autoresync

mongodb relica set 3 連接埠 20000/21000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 –logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000

config = {_id: 'blub', members: [

{_id: 0, host: '192.168.2.2:20000'},

{_id: 1, host: '192.168.2.3:20000'},

{_id: 2, host: '192.168.2.123:20000'},

{_id: 3, host: '192.168.2.124:20000'},

]}

rs.initiate(config)

rs.status()

rs.addArb("192.168.2.124:40000")

rs.addArb("192.168.2.3:40000")

kt node1 連接埠 30000/31000

kchashmgr create /opt/kt/30000.kch

ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 2 -mhost 192.168.2.2 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" -dmn /opt/kt/30000.kch

192.168.2.124

mongodb從 連接埠 10000/11000

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend --slave --slavedelay 2 --autoresync

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 10000

use local

db.sources.insert({"host":"192.168.2.123:10000"});

db.sources.insert({"host":"192.168.2.2:10000"});

mongodb relica set 4

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 --logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 40000 --dbpath /opt/mongodb/40000 --logpath /opt/mongodb/40000/log --replSet blub --rest --oplogSize 1 --logappend

/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000

config = {_id: 'blub', members: [

{_id: 0, host: '192.168.2.2:20000'},

{_id: 1, host: '192.168.2.3:20000'},

{_id: 2, host: '192.168.2.123:20000'},

{_id: 3, host: '192.168.2.124:20000'},

]}

rs.initiate(config)

rs.status()

rs.addArb("192.168.2.124:40000")

rs.addArb("192.168.2.3:40000")

kt node2 連接埠 30000/31000 （和192.168.2.4:30000同步）

kchashmgr create /opt/kt/30000.kch

ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 2 -mhost 192.168.2.3 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" dmn /opt/kt/30000.kch