搭建高可用mongodb叢集（一）——配置mongodb__mongodb

轉載自：http://www.lanceyan.com/tech/mongodb/mongodb_cluster_1.html 搭建高可用mongodb叢集（一）——配置mongodb Posted on  17 十一月, 2013  by lanceyan |  8條評論

在大資料的時代，傳統的關係型資料庫要能更高的服務必須要解決高並發讀寫、海量資料高效儲存、高可擴充性和高可用性這些難題。不過就是因為這些問題Nosql誕生了。

NOSQL有這些優勢：

大資料量，可以通過廉價伺服器儲存大量的資料，輕鬆擺脫傳統mysql單表格儲存體量級限制。

高擴充性，Nosql去掉了關聯式資料庫的關係型特性，很容易橫向擴充，擺脫了以往老是縱向擴充的詬病。

高效能，Nosql通過簡單的key-value方式擷取資料，非常快速。還有NoSQL的Cache是記錄級的，是一種細粒度的Cache，所以NoSQL在這個層面上來說就要效能高很多。

靈活的資料模型，NoSQL無需事先為要儲存的資料建立欄位，隨時可以儲存自訂的資料格式。而在關聯式資料庫裡，增刪欄位是一件非常麻煩的事情。如果是非常大資料量的表，增加欄位簡直就是一個噩夢。

高可用，NoSQL在不太影響效能的情況，就可以方便的實現高可用的架構。比如mongodb通過mongos、mongo分區就可以快速配置出高可用配置。

在nosql資料庫裡，大部分的查詢都是索引值對（key、value）的方式。MongoDB是一個介於關聯式資料庫和非關聯式資料庫之間的產品，是非關聯式資料庫當中最像關聯式資料庫的。支援類似於物件導向的查詢語言，幾乎可以實作類別似關聯式資料庫單表查詢的絕大部分功能，而且還支援對資料建立索引。所以這個非常方便，我們可以用sql操作MongoDB，從關係型資料庫遷移過來，開發人員學習成本會大大減少。如果再對底層的sql API做一層封裝，開發基本可以感覺不到mongodb和關係型資料庫的區別。同樣MongoDB也是號稱自己能夠快速搭建一個高可用可擴充的的分布式叢集，網上有很多搭建的文章，在我們搭建的時候還需要尋找修改很多東西，所以把自己實戰的步驟記錄下來以備忘。我們看看如何一步一步搭建這個東東。

一、mongodb單一實例。這種配置只適合簡易開發時使用，生產使用不行，因為單節點掛掉整個資料業務全掛，如下圖。

雖然不能生產使用，但這個模式可以快速搭建啟動，並且能夠用mongodb的命令操作資料庫。下面列出在linux下安裝單節點mongodb的步驟

1、建立mongodb測試檔案夾 #存放整個mongodb檔案
mkdir  -p  /data /mongodbtest /single 

#存放mongodb資料檔案
mkdir  -p  /data /mongodbtest /single /data

#進入mongodb檔案夾
cd   /data /mongodbtest /single

2、下載mongodb的安裝程式包 wget http: //fastdl.mongodb.org /linux /mongodb-linux-x86_64-2.4.6.tgz

#解壓下載的壓縮包  
tar xvzf mongodb-linux-x86_64-2.4.6.tgz

#進入mongodb程式執行檔案夾
cd mongodb-linux-x86_64-2.4.6 /bin /

3、啟動單一實例mongodb mongod   --dbpath  /data /mongodbtest /single /data

輸出日誌如下，成功。

[initandlisten] db version v2.4.6
……..
[initandlisten] waiting for connections on port 27017
[websvr] admin web console waiting for connections on port 28017

mongodb預設內建提供了web提供者，通過 IP + 連接埠的形式可以訪問。

http://192.168.0.1:28017/

二、主從模式。使用mysql資料庫時大家廣泛用到，採用雙機備份後主節點掛掉了後從節點可以接替主機繼續服務。所以這種模式比單節點的高可用性要好很多。

下面看一下怎麼一步步搭建一個mongodb的主從複製節點： 1、準備兩台機器 192.168.0.1 和 192.168.0.2。 192.168.0.1 當作主節點， 192.168.0.2作為從節點。 2、分別下載mongodb安裝程式包。在192.168.0.1上建立檔案夾 /data/mongodbtest/master，192.168.0.2建立檔案夾/data/mongodbtest/slave。 3、在192.168.0.1啟動mongodb主節點程式。注意後面的這個 “ –master ”參數，標示主節點。

mongod –dbpath /data/mongodbtest/master –master

輸出日誌如下，成功。

[initandlisten] MongoDB starting : pid=18285 port=27017 dbpath=/data/mongodbtest/master master=1
#日誌顯示主節點參數
[initandlisten] options: { dbpath: “/data/mongodbtest/master”, master: true }
……..
[initandlisten] waiting for connections on port 27017

4、在192.168.0.2啟動mongodb從節點程式。關鍵配置，指定主節點ip地址和連接埠 –source 192.168.0.1:27017 和 標示從節點 –source 參數。

mongod –dbpath /data/mongodbtest/slave –slave –source 192.168.0.1:27017

輸出日誌如下，成功。

[initandlisten] MongoDB starting : pid=17888 port=27017 dbpath=/data/mongodbtest/slave slave=1
……..
#日誌顯示從節點參數
[initandlisten] options: { dbpath: “/data/mongodbtest/slave”, slave: true, source: “192.168.0.1:27017″ }
……..
[initandlisten] waiting for connections on port 27017
#日誌顯示從節點 從主節點同步複製資料
[replslave] repl: from host:192.168.0.1:27017

5、測試主從複製。

在主節點上串連到終端： mongo 127.0.0.1

#建立test 資料庫。
use  test;

往testdb表插入資料。
> db.testdb.insert ( { "test1": "testval1" } )

查詢testdb資料看看是否成功。
> db.testdb.find ( );
{  "_id" : ObjectId ( "5284e5cb1f4eb215b2ecc463" ),  "test1" :  "testval1"  }

可以看到主機的同步處理記錄

[initandlisten] connection accepted from 192.168.0.2:37285 #3 (2 connections now open)
[slaveTracking] update local.slaves query: { _id: ObjectId(’5284e6268ed115d6238bdb39′), config: { host: “192.168.0.2:35271″, upgradeNeeded: true }, ns: “local.oplog.$main” } update: { $set: { syncedTo: Timestamp 1384441570000|1 } } nscanned:1 nupdated:1 fastmod:1 keyUpdates:0 locks(micros) w:132015 132ms

檢查從主機的資料。

mongo 127.0.0.1

查看當前資料庫。 > show dbs;
   local   0.203125GB
   test    0.203125GB

use  test;
db.testdb.find ( );
{  "_id" : ObjectId ( "5284e5cb1f4eb215b2ecc463" ),  "test1" :  "testval1"  }

查詢後資料已經同步過來了。再看看日誌，發現從主機確實從主機同步了資料。 Thu Nov  14  23:05: 13  [replslave ] repl:   checkpoint applied  15 operations
Thu Nov  14  23:05: 13  [replslave ] repl:   syncedTo: Nov  14  23:08: 10 5284e75a: 1

查看服務狀態 > db.printReplicationInfo ( );
          this is a slave, printing slave replication info.
          source:   192.168.0.1: 27017
              syncedTo: Sun Nov  17  2013  16:04:02 GMT+0800  (CST )
                      =  -54 secs ago  (-0.01hrs )

到此主從結構的mongodb搭建好了。

容錯移轉測試，現在兩台伺服器如果主伺服器掛掉了，從伺服器可以正常運轉嗎。 a、先測試下從伺服器可以當成主伺服器嗎，也就是往從伺服器裡寫能夠同步主伺服器嗎。

在192.168.0.2上串連mongodb。 mongo 127.0.0.1: 27017
> db.testdb.insert ( { "test3": "testval3" } );
not master

可以看到 mongodb的從節點是不能提供寫操作的，只能提供讀操作。

b、如果從伺服器掛掉，主伺服器還可以提供服務。如果主伺服器掛掉了從伺服器能否自動變為可寫。
測試一下。

先殺掉原來的mongodb主伺服器。 kill  -3  ` ps  -ef | grep mongod | grep  -v  grep | awk  '{print $2}' `

測試從伺服器能否可寫。在192.168.0.2上串連mongodb測試。 > db.testdb.insert ( { "test3": "testval3" } );
not master

看起來從伺服器沒有自動接替主伺服器的功能，只有手工處理了。

停止從伺服器，在原資料檔案啟動並添加主伺服器標示。 mongod   --dbpath  /data /mongodbtest /slave  --master

等到啟動成功（時間有點長）。在192.168.0.2 上 串連 mongo 192.168.0.2: 27017

。 > db.testdb.find ( );
{  "_id" : ObjectId ( "5288629e9b0318be4b20bd4c" ),  "test1" :  "testval1"  }
{  "_id" : ObjectId ( "528862d69b0318be4b20bd4d" ),  "test2" :  "testval2"  }

成功。

多個從節點。現在只是一個資料庫伺服器又提供寫又提供讀，機器承載會出現瓶頸。大家還記得mysql裡的讀寫分離嗎。把20%的寫放到主節點，80%的讀放到從節點分攤了減少了伺服器的負載。但是大部分應用都是讀操作帶來的壓力，一個從節點壓力負載不了，可以把一個從節點變成多個節點。那mongodb的一主多從可以支援嗎。答案是肯定的。

為了方便測試，在192.168.0.2上再建立一個檔案夾 /data/mongodbtest/slave1 作為另一個slave伺服器。
啟動slave2服務， mongod   --dbpath  /data /mongodbtest /slave1  --slave   --port  27017  --source 192.168.0.1: 27017。

成功啟動後通過mongodb串連測試： > db.testdb.find ( );
{  "_id" : ObjectId ( "5288629e9b0318be4b20bd4c" ),  "test1" :  "testval1"  }
{  "_id" : ObjectId (