MySQL Cluster NDB(Mysql 叢集)

一、MySQL Cluster概述

MySQL Cluster 是MySQL適合於分散式運算環境的高實用、高冗餘版本。它採用了NDB Cluster 儲存引擎，允許在1個 Cluster 中運行多個MySQL伺服器。在MyQL 5.0及以上的二進位版本中、以及與最新的Linux版本相容的RPM中提供了該儲存引擎。（注意，要想獲得MySQL Cluster 的功能，必須安裝 mysql-server 和 mysql-cluster RPM）。

目前能夠運行MySQL Cluster 的作業系統有Linux、Mac OS X和Solaris（一些使用者通報成功地在FreeBSD上運行了MySQL Cluster ，但MySQL AB公司尚未正式支援該特性）。

MySQL Cluster 是一種分布式設計，目標是要達到沒有任何單點故障點。因此，任何組成部分都應該擁有自己的記憶體和磁碟。該技術允許在無共用的系統中部署“記憶體中”資料庫的 Cluster ，任何共用儲存方案如網際網路共用，網路檔案系統和SAN裝置是不推薦或不支援的。通過無共用體繫結構，系統能夠使用廉價的硬體，而且對軟硬體無特殊要求。通過這種冗餘設計，MySQL聲稱資料的可用度可以達到99.999%。

 

MySQL Cluster 由一組電腦構成，每台電腦上均運行著多種進程，包括MySQL伺服器，NDB Cluster 的資料節點，管理伺服器，以及（可能）專門的資料訪問程式。關於 Cluster 中這些組件的關係，請參見：

 

 所有的這些節點構成一個完成的MySQL叢集體系。資料儲存在“NDB儲存伺服器”的儲存引擎中，表（結構）則儲存在“MySQL伺服器”中。應用程式通過“MySQL伺服器”訪問這些資料表，叢集管理伺服器通過管理工具(ndb_mgmd)來管理“NDB儲存伺服器”。

 二、MySQL Cluster 基本概念

NDB是一種“記憶體中”的儲存引擎，它具有可用性高和資料一致性好的特點。

MySQL Cluster 能夠使用多種故障切換和Server Load Balancer選項配置NDB儲存引擎。MySQL Cluster的NDB儲存引擎包含完整的資料集，僅取決於 Cluster本身內的其他資料。

目前，MySQL Cluster的 Cluster部分可獨立於MySQL伺服器進行配置。在MySQL Cluster中， Cluster的每個部分被視為1個節點。

• 管理(MGM)節點：這類節點的作用是管理MySQL Cluster內的其他節點，如提供配置資料、啟動並停止節點、運行備份等。由於這類節點負責管理其他節點的配置，應在啟動其他節點之前首先啟動這類節點。MGM節點是用命令“ndb_mgmd”啟動的
• 資料節點：這類節點用於儲存 Cluster的資料。資料節點的數目與副本的數目相關，是片段的倍數。例如，對於兩個副本，每個副本有兩個片段，那麼就有4個資料節點。不過沒有必要設定多個副本。資料節點是用命令“ndbd”啟動的。
• SQL節點：這是用來訪問 Cluster資料的節點。對於MySQL Cluster，用戶端節點是使用NDB Cluster儲存引擎的傳統MySQL伺服器。通常，SQL節點是使用命令“mysqld –ndbcluster”啟動的，或將“ndbcluster”添加到“my.cnf”後使用“mysqld”啟動。

注釋：在很多情況下，術語“節點”用於指電腦，但在討論MySQL Cluster時，它表示的是進程。在單台電腦上可以有任意數目的節點，為此，我們採用術語“ Cluster主機”。

管理伺服器(MGM節點)負責管理 Cluster設定檔和 Cluster日誌。 Cluster中的每個節點從管理伺服器檢索配置資料，並請求確定管理伺服器所在位置的方式。當資料節點內出現新的事件時，節點將關於這類事件的資訊傳輸到管理伺服器，然後，將這類資訊寫入 Cluster日誌。

此外，可以有任意數目的 Cluster用戶端進程或應用程式。它們分為兩種類型：

• 標準MySQL用戶端：對於MySQL Cluster，它們與標準的（非 Cluster類）MySQL沒有區別。換句話講，能夠從用PHP、Perl、C、C++、Java、Python、Ruby等編寫的現有MySQL應用程式訪問MySQL Cluster。
• 管理用戶端：這類用戶端與管理伺服器相連，並提供了啟動和停止節點、啟動和停止訊息追蹤（僅調試版本）、顯示節點版本和狀態、啟動和停止備份等的命令。

 

三、NDB的安裝和配置

節點(用途)	IP地址(主機名稱)
管理節點(MGM)	192.168.0.55
SQL節點1(SQL1)	192.168.0.56
SQL節點2(SQL2)	192.168.0.57
資料節點1(NDBD1)	192.168.0.58
資料節點2(NDBD2)	192.168.0.59

 

 

1.安裝Mysql server（如果已經安裝，則可略過此步驟）

$wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.59.tar.gz/from/http://mysql.cs.pu.edu.tw/
$tar -xzvf mysql-5.1.59.tar.gz
$cd mysql-5.1.59
$./configure --with-charset=utf8 --with-collation=utf8_bin --with-extra-charsets=gbk,gb2312,big5,utf8,binary,ascii 
                 --prefix=/usr/local/mysql  --with-plugins=partition,ndbcluster
$make 
$make install

執行上述./configure時可能報錯：

checking for termcap functions library... configure: error: No curses/termcap library found

使用如下方式解決：

$wget http://ftp.gnu.org/pub/gnu/ncurses/ncurses-5.6.tar.gz
$tar -xzvf ncurses-5.6.tar.gz
$cd ncurses-5.6
$./configure --prefix=/usr --without-debug --with-shared
$make &make install
$/etc/init.d/mysql start  #啟動mysql伺服器

2.安裝Mysql Cluster

$wget http://dev.mysql.com/get/Downloads/MySQL-Cluster-7.1/mysql-cluster-gpl-7.1.15a-linux-x86_64-glibc23.tar.gz/from/http://mysql.ntu.edu.tw/
$tar -xzvf mysql-cluster-gpl-7.1.15a-linux-x86_64-glibc23.tar.gz
$mv mysql-cluster-gpl-7.1.15a-linux-x86_64-glibc23/ /usr/local/mysql-cluster
$cd /usr/local/mysql-cluster
$groupadd mysql 
$useradd -g mysql mysql 
$passwd mysql 
$cd /usr/local/mysql-cluster
$chown -R mysql:mysql . 
$scripts/mysql_install_db --user=mysql 
$cp -rp bin/ndb* /usr/local/bin/

3.組態管理節點(MGMD)

$cp support-files/ndb-config-2-node.ini /etc/ndb_mgmd.ini
$vi /etc/ndb_mgmd.ini
[ndbd default]
NoOfReplicas= 2
MaxNoOfConcurrentOperations= 10000
DataMemory= 80M
IndexMemory= 24M
TimeBetweenWatchDogCheck= 30000
DataDir= /usr/local/mysql-cluster/data
MaxNoOfOrderedIndexes= 512
#設定管理節點伺服器
[ndb_mgmd default]
DataDir= /usr/local/mysql-cluster/data #MGM上儲存日誌的目錄
[ndb_mgmd]
Id=1
HostName= 192.168.0.55
#設定儲存節點伺服器(NDB節點)
[ndbd] 
Id= 2
HostName= 192.168.0.56
DataDir=/usr/local/mysql-cluster/data
[ndbd]
Id= 3
HostName= 192.168.0.57
DataDir=/usr/local/mysql-cluster/data
#設定SQL節點伺服器
[mysqld]
Id= 5
HostName= 192.168.0.58
[mysqld]#第二個SQL節點
Id= 6
HostName= 192.168.0.59
# 選擇一個未使用的連接埠
[tcp default]
PortNumber= 63132

4.配置SQL節點

$vi /etc/my.cnf

然後寫入以下內容：

[mysqld]
basedir         = /usr/local/mysql/
datadir         = /usr/local/mysql/data
user            = mysql
port            = 3306
socket          = /tmp/mysql.sock
ndbcluster
ndb-connectstring=192.168.0.55
[MYSQL_CLUSTER]
ndb-connectstring=192.168.0.55

5.配置儲存節點(NDB節點)

$vi /etc/ndbd.cnf

然後寫入以下內容：

[mysqld]
ndbcluster
DataDir=/usr/local/mysql-cluster/data
[MYSQL_CLUSTER]
ndb-connectstring=nodeid=192.168.0.55

四、啟動MySQL Cluster

較為合理的啟動順序是：首先啟動管理節點伺服器，然後啟動儲存節點伺服器，最後才啟動SQL節點伺服器： 1.在管理節點伺服器上，執行以下命令啟動MGM節點進程：

$/usr/local/bin/ndb_mgmd -f /etc/ndb_mgmd.ini  --configdir=/usr/local/mysql-cluster
$netstat -ntpl |grep ndb #檢查是否成功

必須用參數“-f”或“--config-file”告訴 ndb_mgm 設定檔所在位置，預設是在ndb_mgmd相同目錄下。
2.在每台儲存節點伺服器上，如果是第一次啟動ndbd進程的話，必須先執行以下命令：

$/usr/local/bin/ndbd --initial --defaults-file=/etc/ndbd.cnf

注意，僅應在初次開機ndbd時，或在備份/恢複資料或設定檔發生變化後重啟ndbd時使用“--initial”參數。因為該參數會使節點刪除由早期ndbd執行個體建立的、用於恢複的任何檔案，包括用於恢複的記錄檔。
3.運行以下命令啟動SQL節點伺服器：

$mysqld_safe --defaults-file=/etc/my.cnf &

注意：如果你正在使用較早的MySQL版本，你或許會看到引用為‘[mysqld(API)]’的SQL節點。這是一種早期的用法，現已放棄。

 五、關閉Mysql Cluster

要想關閉 Cluster，可在MGM節點所在的機器上，在Shell中簡單地輸入下述命令：

$/usr/local/bin/ndb_mgm -e shutdown

運行以下命令關閉SQL節點的mysqld服務：

$/usr/local/bin/mysqladmin -uroot shutdown

 

六、操作資料庫

與沒有使用 Cluster的MySQL相比，在MySQL Cluster內操作資料的方式沒有太大的區別。執行這類操作時應記住兩點：

1. 表必須用ENGINE=NDB或ENGINE=NDBCLUSTER選項建立，或用ALTER TABLE選項更改，以使用NDB Cluster儲存引擎在 Cluster內複製它們。如果使用mysqldump的輸出從已有資料庫匯入表，可在文字編輯器中開啟SQL指令碼，並將該選項添加到任何錶建立語句，或用這類選項之一替換任何已有的ENGINE（或TYPE）選項。
2. 另外還請記住，每個NDB表必須有一個主鍵。如果在建立表時使用者未定義主鍵，NDB Cluster儲存引擎將自動產生隱含的主鍵。（注釋：該隱含 鍵也將佔用空間，就像任何其他的表索引一樣。由於沒有足夠的記憶體來容納這些自動建立的鍵，出現問題並不罕見）。

 

參考文章：

http://ginge.iteye.com/blog/320205

http://www.linuxidc.com/Linux/2010-04/25588p2.htm

http://blog.itpub.net/post/41982/516838

http://space.itpub.net/101629/viewspace-694325

http://imysql.cn/?q=node/96