mysql proxy 讀寫分離

標籤：

以下內容均摘錄自網上。原址：http://blog.csdn.net/edwzhang/article/details/8475624

MySQL主從複製（Master-Slave）與讀寫分離（MySQL-Proxy）實踐

一般來說都是通過 主從複製（Master-Slave）的方式來同步資料，再通過讀寫分離（MySQL-Proxy）來提升資料庫的並發負載能力 這樣的方案來進行部署與實施的。

如所示：

下面進行部署：

一、MySQL的安裝與配置

　　可以參考這篇文章：http://heylinux.com/archives/993.html

　　值得一提的是，我的安裝過程都是源碼包編譯安裝的，並且所有的配置與資料等都統一規划到了/opt/mysql目錄中，因此在一台伺服器上安裝完成以後，可以將整個mysql目錄打包，然後傳到其它伺服器上解包，便可立即使用。

二、MySQL主從複製

情境描述：
主要資料庫伺服器：192.168.10.130，MySQL已經安裝，並且無應用資料。
從資料庫伺服器：192.168.10.131，MySQL已經安裝，並且無應用資料。

2.1 主伺服器上進行的操作

通過命令列登入管理MySQL伺服器
/opt/mysql/bin/mysql -uroot -p‘new-password‘

授權給從資料庫伺服器192.168.10.131
mysql> GRANT REPLICATION SLAVE ON *.* to ‘rep1‘@‘192.168.10.131‘ identified by ‘password’;

 

如果主伺服器已經存在應用資料，則在進行主從複製時，需要做以下處理：

(1)主要資料庫進行鎖表操作，不讓資料再進行寫入動作
mysql> FLUSH TABLES WITH READ LOCK;

 

(2)查看主要資料庫狀態
mysql> show master status;

(3)記錄下 FILE 及 Position 的值。
將主伺服器的資料檔案（整個/opt/mysql/data目錄）複製到從伺服器，建議通過tar歸檔壓縮後再傳到從伺服器解壓。

 

2.2 配置從伺服器
修改從伺服器的設定檔/opt/mysql/etc/my.cnf
將 server-id = 1修改為 server-id = 10，並確保這個ID沒有被別的MySQL服務所使用。

 

啟動mysql服務
/opt/mysql/init.d/mysql start

 

通過命令列登入管理MySQL伺服器
/opt/mysql/bin/mysql -uroot -p‘new-password‘

 

執行同步SQL語句
mysql> change master to
master_host=’192.168.10.130’,
master_user=’rep1’,
master_password=’password’,
master_log_file=’mysql-bin.000005’,
master_log_pos=261;

 

正確執行後啟動Slave同步進程
mysql> start slave;

2.3取消主要資料庫鎖定
mysql> UNLOCK TABLES;

 

主從同步檢查
mysql> show slave status\G

 

==============================================
**************** 1. row *******************
Slave_IO_State:
Master_Host: 192.168.10.130
Master_User: rep1
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000005
Read_Master_Log_Pos: 415
Relay_Log_File: localhost-relay-bin.000008
Relay_Log_Pos: 561
Relay_Master_Log_File: mysql-bin.000005
Slave_IO_Running: YES
Slave_SQL_Running: YES
Replicate_Do_DB:
……………省略若干……………
Master_Server_Id: 1
1 row in set (0.01 sec)
==============================================

其中Slave_IO_Running 與 Slave_SQL_Running 的值都必須為YES，才表明狀態正常。   

完成了之後再在主要資料庫裡插入記錄，之後查看從資料庫是否有資料，如果有資料則表明插入成功。

 

 

三、MySQL讀寫分離

3.2 檢查系統所需軟體包
通過 rpm -qa | grep name 的方式驗證以下軟體包是否已全部安裝。

gcc* gcc-c++* autoconf* automake* zlib* libxml* ncurses-devel* libmcrypt* libtool* flex* pkgconfig*
libevent* glib*

 

若缺少相關的軟體包，可通過yum -y install方式線上安裝，或直接從系統安裝光碟片中找到並通過rpm -ivh方式安裝。

 

3.3 編譯安裝lua
MySQL-Proxy的讀寫分離主要是通過rw-splitting.lua指令碼實現的，因此需要安裝lua。

lua可通過以下方式獲得
從http://www.lua.org/download.html下載源碼包

這裡我們建議採用源碼包進行安裝
cd /opt/install
wget http://www.lua.org/ftp/lua-5.1.4.tar.gz
tar zvfx lua-5.1.4.tar.gz
cd lua-5.1.4

vi src/Makefile
在 CFLAGS= -O2 -Wall $(MYCFLAGS) 這一行記錄裡加上-fPIC，更改為 CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS) 來避免編譯過程中出現錯誤。

make linux
make install

cp etc/lua.pc /usr/lib/pkgconfig/
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/lib/pkgconfig

 

3.4 安裝配置MySQL-Proxy
MySQL-Proxy可通過以下網址獲得：
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/

推薦採用已經編譯好的二進位版本，因為採用源碼包進行編譯時間，最新版的MySQL-Proxy對automake，glib以及libevent的版本都有很高的要求，而這些軟體包都是系統的基礎套件，不建議強行進行更新。
並且這些已經編譯好的二進位版本在解壓後都在統一的目錄內，因此建議選擇以下版本：
32位RHEL5平台：
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
64位RHEL5平台：
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-64bit.tar.gz

測試平台為RHEL5 32位，因此選擇32位的軟體包
wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz

tar xzvf mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
mv mysql-proxy-0.8.1-linux-rhel5-x86-32bit /opt/mysql-proxy

建立mysql-proxy服務管理指令碼
mkdir /opt/mysql-proxy/init.d/

 

vim mysql-proxy

 

指令碼參數詳解：
==============================================
PROXY_PATH=/opt/mysql-proxy/bin   //定義mysql-proxy服務二進位檔案路徑

PROXY_OPTIONS="--admin-username=root \   //定義內部管理伺服器帳號
--admin-password=password \   //定義內部管理伺服器密碼

--proxy-read-only-backend-addresses=192.168.10.131:3306 \ //定義後端唯讀從伺服器位址
--proxy-backend-addresses=192.168.10.130:3306 \ //定義後端主伺服器地址
--admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua \ //定義lua管理指令碼路徑

--proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua" \ //定義lua讀寫分離指令碼路徑

PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid //定義mysql-proxy PID檔案路徑

$NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS \
--daemon \ //定義以守護進程模式啟動
--keepalive \ //使進程在異常關閉後能夠自動回復
--pid-file=$PROXY_PID \ //定義mysql-proxy PID檔案路徑
--user=mysql \ //以mysql使用者身份啟動服務
--log-level=warning \ //定義log記錄層級，由高到低分別有(error|warning|info|message|debug)
--log-file=/opt/mysql-proxy/log/mysql-proxy.log //定義log記錄檔路徑
==============================================

 

cp mysql-proxy /opt/mysql-proxy/init.d/               //把配置好的檔案放到目錄下面

chmod +x /opt/mysql-proxy/init.d/mysql-proxy     //修改許可權

mkdir /opt/mysql-proxy/run                                
mkdir /opt/mysql-proxy/log

mkdir /opt/mysql-proxy/scripts

 

配置並使用rw-splitting.lua讀寫分離指令碼
最新的指令碼我們可以從最新的mysql-proxy源碼包中擷取
cd /opt/install

wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1.tar.gz

tar xzvf mysql-proxy-0.8.1.tar.gz
cd mysql-proxy-0.8.1
cp lib/rw-splitting.lua /opt/mysql-proxy/scripts

修改讀寫分離指令碼rw-splitting.lua
修改預設串連，進行快速測試，不修改的話要達到串連數為4時才啟用讀寫分離
vim /opt/mysql-proxy/scripts/rw-splitting.lua
=============================
-- connection pool
if not proxy.global.config.rwsplit then
proxy.global.config.rwsplit = {
min_idle_connections = 1, //預設為4
max_idle_connections = 1, //預設為8
is_debug = false
}
end
=============================

修改完成後，啟動mysql-proxy
/opt/mysql-proxy/init.d/mysql-proxy start

 

 

經驗分享：
1.當MySQL主從複製在 show slave status\G 時出現Slave_IO_Running或Slave_SQL_Running 的值不為YES時，

需要首先通過 stop slave 來停止從伺服器，然後再執行一次本文 2.1與2.2 章節中的步驟即可恢複，但如果想儘可能的同步更多的資料，可以在Slave上將master_log_pos節點的值在之前同步失效的值的基礎上增大一些，然後反覆測試，直到同步OK。因為MySQL主從複製的原理其實就是從伺服器讀取主伺服器的binlog，然後根據binlog的記錄來更新資料庫。

 

2.MySQL-Proxy的rw-splitting.lua指令碼在網上有很多版本，但是最準確無誤的版本仍然是源碼包中所附帶的lib/rw-splitting.lua指令碼，如果有lua指令碼編程基礎的話，可以在這個指令碼的基礎上再進行最佳化；

 

3.MySQL-Proxy實際上非常不穩定，在高並發或有錯誤串連的情況下，進程很容易自動關閉，因此開啟--keepalive參數讓進程自動回復是個比較好的辦法，但還是不能從根本上解決問題，因此通常最穩妥的做法是在每個從伺服器上安裝一個MySQL-Proxy供自身使用，雖然比較低效但卻能保證穩定性；

 

4.一主多從的架構並不是最好的架構，通常比較優的做法是通過程式碼和中介軟體等方面，來規劃，比如設定對錶資料的自增id值差異增長等方式來實現兩個或多個主伺服器，但一定要注意保證好這些主伺服器資料的完整性，否則效果會比多個一主多從的架構還要差；

5.MySQL-Cluster 的穩定性也不是太好；

 

6.Amoeba for MySQL 是一款優秀的中介軟體軟體，同樣可以實現讀寫分離，負載平衡等功能，並且穩定性要大大超過MySQL-Proxy，建議大家用來替代MySQL-Proxy，甚至MySQL-Cluster。

 

mysql proxy 讀寫分離