MySQL主從複製與讀寫分離 --非原創

標籤：des   style   blog   http   color   os   使用   io   strong   

原文出處：http://www.cnblogs.com/luckcs/articles/2543607.html

MySQL主從複製(Master-Slave)與讀寫分離(MySQL-Proxy)實踐

Mysql作為目前世界上使用最廣泛的免費資料庫，相信所有從事系統營運的工程師都一定接觸過。但在實際的生產環境中，由單台Mysql作為獨立的資料庫是完全不能滿足實際需求的，無論是在安全性，高可用性以及高並發等各個方面。

因此，一般來說都是通過 主從複製（Master-Slave）的方式來同步資料，再通過讀寫分離（MySQL-Proxy）來提升資料庫的並發負載能力 這樣的方案來進行部署與實施的。

下面是我在實際工作過程中所整理的筆記，在此分享出來，以供大家參考。

一、MySQL的安裝與配置 具體的安裝過程，建議參考我的這一篇文章：http://heylinux.com/archives/993.html 值得一提的是，我的安裝過程都是源碼包編譯安裝的，並且所有的配置與資料等都統一規划到了/opt/mysql目錄中，因此在一台伺服器上安裝完成以後，可以將整個mysql目錄打包，然後傳到其它伺服器上解包，便可立即使用。

二、MySQL主從複製 情境描述： 主要資料庫伺服器：192.168.10.130，MySQL已經安裝，並且無應用資料。 從資料庫伺服器：192.168.10.131，MySQL已經安裝，並且無應用資料。

2.1 主伺服器上進行的操作 啟動mysql服務 /opt/mysql/init.d/mysql start

通過命令列登入管理MySQL伺服器 /opt/mysql/bin/mysql -uroot -p‘new-password‘

授權給從資料庫伺服器192.168.10.131 mysql> GRANT REPLICATION SLAVE ON *.* to ‘rep1‘@‘192.168.10.131‘ identified by ‘password’;

查詢主要資料庫狀態 Mysql> show master status; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000005 | 261 | | | +------------------+----------+--------------+------------------+

記錄下 FILE 及 Position 的值，在後面進行從伺服器操作的時候需要用到。

2.2 配置從伺服器 修改從伺服器的設定檔/opt/mysql/etc/my.cnf 將 server-id = 1修改為 server-id = 10，並確保這個ID沒有被別的MySQL服務所使用。

啟動mysql服務 /opt/mysql/init.d/mysql start

通過命令列登入管理MySQL伺服器 /opt/mysql/bin/mysql -uroot -p‘new-password‘

執行同步SQL語句 mysql> change master to master_host=’192.168.10.130’, master_user=’rep1’, master_password=’password’, master_log_file=’mysql-bin.000005’, master_log_pos=261;

正確執行後啟動Slave同步進程 mysql> start slave;

主從同步檢查 mysql> show slave status\G ============================================== **************** 1. row ******************* Slave_IO_State: Master_Host: 192.168.10.130 Master_User: rep1 Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000005 Read_Master_Log_Pos: 415 Relay_Log_File: localhost-relay-bin.000008 Relay_Log_Pos: 561 Relay_Master_Log_File: mysql-bin.000005 Slave_IO_Running: YES Slave_SQL_Running: YES Replicate_Do_DB: ……………省略若干…………… Master_Server_Id: 1 1 row in set (0.01 sec) ==============================================

其中Slave_IO_Running 與 Slave_SQL_Running 的值都必須為YES，才表明狀態正常。

如果主伺服器已經存在應用資料，則在進行主從複製時，需要做以下處理： (1)主要資料庫進行鎖表操作，不讓資料再進行寫入動作 mysql> FLUSH TABLES WITH READ LOCK;

(2)查看主要資料庫狀態 mysql> show master status;

(3)記錄下 FILE 及 Position 的值。 將主伺服器的資料檔案（整個/opt/mysql/data目錄）複製到從伺服器，建議通過tar歸檔壓縮後再傳到從伺服器解壓。

(4)取消主要資料庫鎖定 mysql> UNLOCK TABLES;

2.3 驗證主從複製效果

主伺服器上的操作 在主伺服器上建立資料庫first_db mysql> create database first_db; Query Ok, 1 row affected (0.01 sec)

在主伺服器上建立表first_tb mysql> create table first_tb(id int(3),name char(10)); Query Ok, 1 row affected (0.00 sec)

在主伺服器上的表first_tb中插入記錄 mysql> insert into first_tb values (001,’myself’); Query Ok, 1 row affected (0.00 sec)

在從伺服器上查看 mysql> show databases; ============================= +--------------------+ | Database | +--------------------+ | information_schema | | first_db | | mysql | | performance_schema | | test | +--------------------+ 5 rows in set (0.01 sec) ============================= 資料庫first_db已經自動產生

mysql> use first_db Database chaged

mysql> show tables; ============================= +--------------------+ | Tables_in_first_db | +--------------------+ | first_tb | +--------------------+ 1 row in set (0.02 sec) ============================= 資料庫表first_tb也已經自動建立

mysql> select * from first_tb; ============================= +------+------+ | id | name | +------+------+ | 1 | myself | +------+------+ 1 rows in set (0.00 sec) ============================= 記錄也已經存在

由此，整個MySQL主從複製的過程就完成了，接下來，我們進行MySQL讀寫分離的安裝與配置。

三、MySQL讀寫分離 情境描述： 資料庫Master主伺服器：192.168.10.130 資料庫Slave從伺服器：192.168.10.131 MySQL-Proxy調度伺服器：192.168.10.132

以下操作，均是在192.168.10.132即MySQL-Proxy調度伺服器 上進行的。

3.1 MySQL的安裝與配置 具體的安裝過程與上文相同。

3.2 檢查系統所需軟體包 通過 rpm -qa | grep name 的方式驗證以下軟體包是否已全部安裝。 gcc* gcc-c++* autoconf* automake* zlib* libxml* ncurses-devel* libmcrypt* libtool* flex* pkgconfig* libevent* glib*

若缺少相關的軟體包，可通過yum -y install方式線上安裝，或直接從系統安裝光碟片中找到並通過rpm -ivh方式安裝。

3.3 編譯安裝lua MySQL-Proxy的讀寫分離主要是通過rw-splitting.lua指令碼實現的，因此需要安裝lua。

lua可通過以下方式獲得 從http://www.lua.org/download.html下載源碼包

從rpm.pbone.net搜尋相關的rpm包 download.fedora.redhat.com/pub/fedora/epel/5/i386/lua-5.1.4-4.el5.i386.rpm download.fedora.redhat.com/pub/fedora/epel/5/x86_64/lua-5.1.4-4.el5.x86_64.rpm

這裡我們建議採用源碼包進行安裝 cd /opt/install wget http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zvfx lua-5.1.4.tar.gz cd lua-5.1.4

vi src/Makefile 在 CFLAGS= -O2 -Wall $(MYCFLAGS) 這一行記錄裡加上-fPIC，更改為 CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS) 來避免編譯過程中出現錯誤。

make linux make install

cp etc/lua.pc /usr/lib/pkgconfig/ export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/lib/pkgconfig

3.4 安裝配置MySQL-Proxy MySQL-Proxy可通過以下網址獲得： http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/

推薦採用已經編譯好的二進位版本，因為採用源碼包進行編譯時間，最新版的MySQL-Proxy對automake，glib以及libevent的版本都有很高的要求，而這些軟體包都是系統的基礎套件，不建議強行進行更新。 並且這些已經編譯好的二進位版本在解壓後都在統一的目錄內，因此建議選擇以下版本： 32位RHEL5平台： http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz 64位RHEL5平台： http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-64bit.tar.gz

測試平台為RHEL5 32位，因此選擇32位的軟體包 wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz

tar xzvf mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz mv mysql-proxy-0.8.1-linux-rhel5-x86-32bit /opt/mysql-proxy

建立mysql-proxy服務管理指令碼 mkdir /opt/mysql-proxy/init.d/

vim mysql-proxy

 

     #!/bin/sh02     #03     # mysql-proxy This script starts and stops the mysql-proxy daemon04     #05     # chkconfig: - 78 3006     # processname: mysql-proxy07     # description: mysql-proxy is a proxy daemon to mysql08       09     # Source function library.10     . /etc/rc.d/init.d/functions11       12     #PROXY_PATH=/usr/local/bin13     PROXY_PATH=/opt/mysql-proxy/bin14       15     prog="mysql-proxy"16       17     # Source networking configuration.18     . /etc/sysconfig/network19       20     # Check that networking is up.21     [ ${NETWORKING} = "no" ] && exit 022       23     # Set default mysql-proxy configuration.24     #PROXY_OPTIONS="--daemon"25     PROXY_OPTIONS="--admin-username=root --admin-password=password --proxy-read-only-backend-addresses=192.168.10.131:3306 --proxy-backend-addresses=192.168.10.130:3306  --admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua --proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua"26     PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid27       28     # Source mysql-proxy configuration.29     if [ -f /etc/sysconfig/mysql-proxy ]; then30             . /etc/sysconfig/mysql-proxy31     fi32       33     PATH=$PATH:/usr/bin:/usr/local/bin:$PROXY_PATH34       35     # By default it‘s all good36     RETVAL=037       38     # See how we were called.39     case "$1" in40       start)41             # Start daemon.42             echo -n $"Starting $prog: "43             $NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS --daemon --pid-file=$PROXY_PID --user=mysql --log-level=warning --log-file=/opt/mysql-proxy/log/mysql-proxy.log44             RETVAL=$?45             echo46             if [ $RETVAL = 0 ]; then47                     touch /var/lock/subsys/mysql-proxy48             fi49            ;;50       stop)51             # Stop daemons.52             echo -n $"Stopping $prog: "53             killproc $prog54             RETVAL=$?55             echo56             if [ $RETVAL = 0 ]; then57                     rm -f /var/lock/subsys/mysql-proxy58                     rm -f $PROXY_PID59             fi60            ;;61       restart)62             $0 stop63             sleep 364             $0 start65            ;;66       condrestart)67            [ -e /var/lock/subsys/mysql-proxy ] && $0 restart68           ;;69       status)70             status mysql-proxy71             RETVAL=$?72            ;;73       *)74             echo "Usage: $0 {start|stop|restart|status|condrestart}"75             RETVAL=176            ;;77     esac78       79     exit $RETVAL

指令碼參數詳解： ============================================== PROXY_PATH=/opt/mysql-proxy/bin //定義mysql-proxy服務二進位檔案路徑

PROXY_OPTIONS="--admin-username=root \ //定義內部管理伺服器帳號 --admin-password=password \ //定義內部管理伺服器密碼 --proxy-read-only-backend-addresses=192.168.10.131:3306 \ //定義後端唯讀從伺服器位址 --proxy-backend-addresses=192.168.10.130:3306 \ //定義後端主伺服器地址 --admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua \ //定義lua管理指令碼路徑 --proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua" \ //定義lua讀寫分離指令碼路徑

PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid //定義mysql-proxy PID檔案路徑

$NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS \ --daemon \ //定義以守護進程模式啟動 --keepalive \ //使進程在異常關閉後能夠自動回復 --pid-file=$PROXY_PID \ //定義mysql-proxy PID檔案路徑 --user=mysql \ //以mysql使用者身份啟動服務 --log-level=warning \ //定義log記錄層級，由高到低分別有(error|warning|info|message|debug) --log-file=/opt/mysql-proxy/log/mysql-proxy.log //定義log記錄檔路徑 ==============================================

cp mysql-proxy /opt/mysql-proxy/init.d/ chmod +x /opt/mysql-proxy/init.d/mysql-proxy

mkdir /opt/mysql-proxy/run mkdir /opt/mysql-proxy/log

mkdir /opt/mysql-proxy/scripts

配置並使用rw-splitting.lua讀寫分離指令碼 最新的指令碼我們可以從最新的mysql-proxy源碼包中擷取 cd /opt/install

wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1.tar.gz

tar xzvf mysql-proxy-0.8.1.tar.gz cd mysql-proxy-0.8.1 cp lib/rw-splitting.lua /opt/mysql-proxy/scripts

修改讀寫分離指令碼rw-splitting.lua 修改預設串連，進行快速測試，不修改的話要達到串連數為4時才啟用讀寫分離 vim /opt/mysql-proxy/scripts/rw-splitting.lua ============================= -- connection pool if not proxy.global.config.rwsplit then proxy.global.config.rwsplit = { min_idle_connections = 1, //預設為4 max_idle_connections = 1, //預設為8 is_debug = false } end =============================

修改完成後，啟動mysql-proxy /opt/mysql-proxy/init.d/mysql-proxy start

3.5 測試讀寫分離效果 建立用於讀寫分離的資料庫連接使用者 登陸主要資料庫伺服器192.168.10.130，通過命令列登入管理MySQL伺服器 /opt/mysql/bin/mysql -uroot -p‘new-password‘ mysql> GRANT ALL ON *.* TO ‘proxy1‘@‘192.168.10.132‘ IDENTIFIED BY ‘password‘; 由於我們配置了主從複製功能，因此從資料庫伺服器192.168.10.131上已經同步了此操作。

為了清晰的看到讀寫分離的效果，需要暫時關閉MySQL主從複製功能 登陸從資料庫伺服器192.168.10.131，通過命令列登入管理MySQL伺服器 /opt/mysql/bin/mysql -uroot -p‘new-password‘

關閉Slave同步進程 mysql> stop slave; Query OK, 0 rows affected (0.00 sec)

串連MySQL-Proxy /opt/mysql/bin/mysql -uproxy1 -p‘password‘ -P4040 -h192.168.10.132

登陸成功後，在first_db資料的first_tb表中插入兩條記錄 mysql> use first_db; Database changed mysql> insert into first_tb values (007,’first’); Query Ok, 1 row affected (0.00 sec) mysql> insert into first_tb values (110,’second’); Query Ok, 1 row affected (0.00 sec)

查詢記錄 mysql> select * from first_tb; ============================= +------+------+ | id | name | +------+------+ | 1 | myself | +------+------+ 1 rows in set (0.00 sec) ============================= 通過讀操作並沒有看到新記錄

mysql> quit 退出MySQL-Proxy

下面，分別登陸到主從資料庫伺服器，對比記錄資訊 首先，檢查主要資料庫伺服器 mysql> select * from first_tb; ============================= +------+------+ | id | name | +------+------+ | 1 | myself | +------+------+ | 007 | first | +------+------+ | 110 | second | +------+------+ 3 rows in set (0.00 sec) ============================= 兩條新記錄都已經存在

然後，檢查從資料庫伺服器 mysql> select * from first_tb; ============================= +------+------+ | id | name | +------+------+ | 1 | myself | +------+------+ 1 rows in set (0.00 sec) ============================= 沒有新記錄存在

由此驗證，我們已經實現了MySQL讀寫分離，目前所有的寫操作都全部在Master主伺服器上，用來避免資料的不同步； 另外，所有的讀操作都分攤給了其它各個Slave從伺服器上，用來分擔資料庫壓力。

經驗分享： 1.當MySQL主從複製在 show slave status\G 時出現Slave_IO_Running或Slave_SQL_Running 的值不為YES時，需要首先通過 stop slave 來停止從伺服器，然後再執行一次本文 2.1與2.2 章節中的步驟即可恢複，但如果想儘可能的同步更多的資料，可以在Slave上將master_log_pos節點的值在之前同步失效的值的基礎上增大一 些，然後反覆測試，直到同步OK。因為MySQL主從複製的原理其實就是從伺服器讀取主伺服器的binlog，然後根據binlog的記錄來更新資料庫。

2.MySQL-Proxy的rw-splitting.lua指令碼在網上有很多版本，但是最準確無誤的版本仍然是源碼包中所附帶的lib/rw-splitting.lua指令碼，如果有lua指令碼編程基礎的話，可以在這個指令碼的基礎上再進行最佳化；

3.MySQL-Proxy實際上非常不穩定，在高並發或有錯誤串連的情況下，進程很容易自動關閉，因此開啟--keepalive參數讓進程自動 恢複是個比較好的辦法，但還是不能從根本上解決問題，因此通常最穩妥的做法是在每個從伺服器上安裝一個MySQL-Proxy供自身使用，雖然比較低效但 卻能保證穩定性；

4.一主多從的架構並不是最好的架構，通常比較優的做法是通過程式碼和中介軟體等方面，來規劃，比如設定對錶資料的自增id值差異增長等方式來實現兩個或多個主伺服器，但一定要注意保證好這些主伺服器資料的完整性，否則效果會比多個一主多從的架構還要差；

5.MySQL-Cluster 的穩定性也不是太好；

6.Amoeba for MySQL 是一款優秀的中介軟體軟體，同樣可以實現讀寫分離，負載平衡等功能，並且穩定性要大大超過MySQL-Proxy，建議大家用來替代MySQL-Proxy，甚至MySQL-Cluster。

MySQL主從複製與讀寫分離 --非原創