MyCAT部署及實現讀寫分離

標籤：

MyCAT是mysql中介軟體，前身是阿里大名鼎鼎的Cobar，Cobar在開源了一段時間後，不了了之。於是MyCAT扛起了這面大旗，在大資料時代，其重要性愈發彰顯。這篇文章主要是MyCAT的入門部署。

一、安裝java

因Mycat是用java開發的，所以需要在實驗環境下安裝java，官方建議jdk1.7及以上版本

Java Oracle官方為：

http://www.oracle.com/technetwork/java/javase/archive-139210.html

 

解壓jdk-7u79-linux-x64.tar.gz檔案，並配置java的環境變數

# tar xvf jdk-7u79-linux-x64.tar.gz

# mv jdk1.7.0_79/ /usr/local/

 

編輯/etc/profile檔案

# vim /etc/profile  添加如下內容

export JAVA_HOME=/usr/local/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

# source /etc/profile --使/etc/profile檔案生效

# java -version

java version "1.7.0_79"Java(TM) SE Runtime Environment (build 1.7.0_79-b15)Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

 

二、安裝MySQL

MySQL官方如下：

http://dev.mysql.com/downloads/mysql/

裡面有各種版本，包括RPM，二進位，源碼包。

為了方便起見，我這裡選擇是RPM包

# yum install -y mysql-community-server-5.6.26-2.el5.x86_64.rpm

 

啟動MySQL

# /etc/init.d/mysqld start

Starting mysqld (via systemctl):                           [  OK  ]

 

為root賬戶建立密碼

# mysqladmin -u root password "123456"

建議為123456，後面MyCAT設定檔schema.xml中會用到

 

三、安裝MyCAT

建立MyCAT使用者並設定密碼

# useradd mycat

# passwd mycat

 

解壓MyCAT檔案

# tar xvf Mycat-server-1.5-alpha-20151221110028-linux.tar.gz

# mv mycat/ /usr/local/

 

設定mycat目錄的屬主和屬組

# chown -R mycat.mycat /usr/local/mycat/

 

四、測試MyCAT

首先在MySQL上建立三個資料庫：db1，db2，db3。

mysql> create database db1;Query OK, 1 row affected (0.00 sec)mysql> create database db2;Query OK, 1 row affected (0.00 sec)mysql> create database db3;Query OK, 1 row affected (0.00 sec)

 

啟動mycat服務

# cd /usr/local/mycat/bin/

# ./mycat start

Starting Mycat-server...

查看mycat服務是否啟動

# ps -ef |grep mycat

root       9640   7257  0 22:47 pts/3    00:00:00 grep --color=auto mycat

並沒有啟動

 

查看日誌

# cd /usr/local/mycat/logs/

# cat wrapper.log

STATUS | wrapper  | 2016/01/07 22:44:23 | --> Wrapper Started as DaemonSTATUS | wrapper  | 2016/01/07 22:44:23 | Launching a JVM...ERROR  | wrapper  | 2016/01/07 22:44:25 | JVM exited while loading the application.INFO   | jvm 1    | 2016/01/07 22:44:25 | Error: Exception thrown by the agent : java.net.MalformedURLException: Local host name unknown: java.net.UnknownHostException: MySQL-Server1: MySQL-Server1: Name or service not knownSTATUS | wrapper  | 2016/01/07 22:44:29 | Launching a JVM...ERROR  | wrapper  | 2016/01/07 22:44:29 | JVM exited while loading the application.INFO   | jvm 2    | 2016/01/07 22:44:29 | Error: Exception thrown by the agent : java.net.MalformedURLException: Local host name unknown: java.net.UnknownHostException: MySQL-Server1: MySQL-Server1: Name or service not knownSTATUS | wrapper  | 2016/01/07 22:44:34 | Launching a JVM...ERROR  | wrapper  | 2016/01/07 22:44:34 | JVM exited while loading the application.INFO   | jvm 3    | 2016/01/07 22:44:34 | Error: Exception thrown by the agent : java.net.MalformedURLException: Local host name unknown: java.net.UnknownHostException: MySQL-Server1: MySQL-Server1: Name or service not knownSTATUS | wrapper  | 2016/01/07 22:44:38 | Launching a JVM...ERROR  | wrapper  | 2016/01/07 22:44:38 | JVM exited while loading the application.INFO   | jvm 4    | 2016/01/07 22:44:38 | Error: Exception thrown by the agent : java.net.MalformedURLException: Local host name unknown: java.net.UnknownHostException: MySQL-Server1: MySQL-Server1: Name or service not knownSTATUS | wrapper  | 2016/01/07 22:44:42 | Launching a JVM...ERROR  | wrapper  | 2016/01/07 22:44:43 | JVM exited while loading the application.INFO   | jvm 5    | 2016/01/07 22:44:43 | Error: Exception thrown by the agent : java.net.MalformedURLException: Local host name unknown: java.net.UnknownHostException: MySQL-Server1: MySQL-Server1: Name or service not knownFATAL  | wrapper  | 2016/01/07 22:44:43 | There were 5 failed launches in a row, each lasting less than 300 seconds.  Giving up.FATAL  | wrapper  | 2016/01/07 22:44:43 |   There may be a configuration problem: please check the logs.STATUS | wrapper  | 2016/01/07 22:44:43 | <-- Wrapper Stopped

 

根據報錯資訊，懷疑主機名稱沒有綁定

修改hosts檔案，綁定主機名稱

# vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4::1         localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.244.144 MySQL-Server1

重新啟動mycat服務

# cd /usr/local/mycat/bin/

# ./mycat start

這次mycat正常啟動

# ps -ef |grep mycat

root      10725      1  0 22:54 ?        00:00:00 /usr/local/mycat/bin/./wrapper-linux-x86-64 /usr/local/mycat/conf/wrapper.conf wrapper.syslog.ident=mycat wrapper.pidfile=/usr/local/mycat/logs/mycat.pid wrapper.daemonize=TRUE wrapper.lockfile=/var/lock/subsys/mycatroot      10881   7257  0 22:55 pts/3    00:00:00 grep --color=auto mycat

 

下面以Travelrecord為例，來進行插入，查詢，路由分析等基本操作。

首先利用mycat串連mysql資料庫

# mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB

其中8066是mycat的監聽連接埠，類似於mysql的3306連接埠，其中-u，-p，-h分別是使用者名稱，密碼和主機，-D是串連的邏輯庫。

至於為什麼是這些，這個跟設定檔有關。

紅色部分表明串連的是mycat。

建立Travelrecord表

create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int);

插入資料

mysql> insert into travelrecord(id,user_id,traveldate,fee,days)  values(1,‘Victor‘,20160101,100,10);Query OK, 1 row affected (0.00 sec)mysql> insert into travelrecord(id,user_id,traveldate,fee,days)  values(5000001,‘Job‘,20160102,100,10);Query OK, 1 row affected (0.00 sec)mysql> insert into travelrecord(id,user_id,traveldate,fee,days)  values(10000001,‘Slow‘,20160103,100,10);Query OK, 1 row affected (0.00 sec)

至於ID為什麼取三個值，這個與conf目錄下autopartition-long.txt的定義有關，這個檔案主要定義auto-sharding-long的規則。

# range start-end ,data node index# K=1000,M=10000.0-500M=0500M-1000M=11000M-1500M=2

我主要是測試在id取不同區間的值時，分區的效果。

下面來看看分區的效果

mysql> select * from db1.travelrecord;+----+---------+------------+------+------+| id | user_id | traveldate | fee  | days |+----+---------+------------+------+------+|  1 | Victor  | 2016-01-01 |  100 |   10 |+----+---------+------------+------+------+1 row in set (0.00 sec)mysql> select * from db2.travelrecord;+---------+---------+------------+------+------+| id      | user_id | traveldate | fee  | days |+---------+---------+------------+------+------+| 5000001 | Job     | 2016-01-02 |  100 |   10 |+---------+---------+------------+------+------+1 row in set (0.00 sec)mysql> select * from db3.travelrecord;+----------+---------+------------+------+------+| id       | user_id | traveldate | fee  | days |+----------+---------+------------+------+------+| 10000001 | Slow    | 2016-01-03 |  100 |   10 |+----------+---------+------------+------+------+1 row in set (0.00 sec)

果然是分配到三個不同的節點上了。

如果想看MyCAT具體會將資料分配到哪個節點上，可通過路由分析。

文法其實蠻簡單，就是SQL語句前加上explain語句。

下面根據explain命令查看create語句和insert語句具體會分配到哪些Datanode上。

mysql> explain create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int);+-----------+-----------------------------------------------------------------------------------------------------------------------+| DATA_NODE | SQL                                                                                                                   |+-----------+-----------------------------------------------------------------------------------------------------------------------+| dn1       | create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int) || dn2       | create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int) || dn3       | create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int) |+-----------+-----------------------------------------------------------------------------------------------------------------------+3 rows in set (0.00 sec)mysql>  explain insert into travelrecord(id,user_id,traveldate,fee,days)  values(1,‘Victor‘,20160101,100,10);+-----------+----------------------------------------------------------------------------------------------+| DATA_NODE | SQL                                                                                          |+-----------+----------------------------------------------------------------------------------------------+| dn1       | insert into travelrecord(id,user_id,traveldate,fee,days)  values(1,‘Victor‘,20160101,100,10) |+-----------+----------------------------------------------------------------------------------------------+1 row in set (0.01 sec)mysql> explain insert into travelrecord(id,user_id,traveldate,fee,days)  values(5000001,‘Job‘,20160102,100,10);+-----------+-------------------------------------------------------------------------------------------------+| DATA_NODE | SQL                                                                                             |+-----------+-------------------------------------------------------------------------------------------------+| dn2       | insert into travelrecord(id,user_id,traveldate,fee,days)  values(5000001,‘Job‘,20160102,100,10) |+-----------+-------------------------------------------------------------------------------------------------+1 row in set (0.00 sec)mysql> explain insert into travelrecord(id,user_id,traveldate,fee,days)  values(10000001,‘Slow‘,20160103,100,10);+-----------+---------------------------------------------------------------------------------------------------+| DATA_NODE | SQL                                                                                               |+-----------+---------------------------------------------------------------------------------------------------+| dn3       | insert into travelrecord(id,user_id,traveldate,fee,days)  values(10000001,‘Slow‘,20160103,100,10) |+-----------+---------------------------------------------------------------------------------------------------+1 row in set (0.00 sec)

 

總結：

關於MyCAT的配置其實是蠻簡單的，最主要的是熟悉各設定檔的規則。以上使用者名稱，密碼，如何分庫，都是在設定檔中定義的，後續，有時間再一一詳表。

關於設定檔，conf目錄下主要以下三個需要熟悉。

server.xml是Mycat伺服器參數調整和使用者授權的設定檔

schema.xml是邏輯庫定義和表以及分區定義的設定檔

rule.xml是分區規則的設定檔

http://www.cnblogs.com/ivictor/p/5111495.html MyCAT實現MySQL的讀寫分離

在MySQL中介軟體出現之前，對於MySQL主從叢集，如果要實現其讀寫分離，一般是在程式端實現，這樣就帶來一個問題，即資料庫和程式的耦合度太高，如果我資料庫的地址發生改變了，那麼我程式端也要進行相應的修改，如果資料庫不小心掛掉了，則同時也意味著程式的不可用，而這對很多應用來說，並不能接受。

引入MySQL中介軟體能很好的對程式端和資料庫進行解耦，這樣，程式端只需關注資料庫中介軟體的地址，而無需知曉底層資料庫是如何提供服務。

作為當前炙手可熱的MySQL中介軟體，MyCAT實現MySQL主從叢集的讀寫分離自是應有之義，其配置也相當簡單。

在這裡，我用三個執行個體組成MySQL主從叢集，來驗證MyCAT的讀寫分離功能，其實，一主一從就可以滿足，之所以用三個，是為了驗證MyCAT的分區功能。

叢集組成如下：

角色             主機名稱                      主機IP

master         mysql-server1          192.168.244.145

slave            mysql-server2          192.168.244.146

slave            mysql-server3          192.168.244.144

在這裡，還是使用Travelrecord表進行測試。

首先編輯MyCAT的設定檔schema.xml，關於dataHost的配置資訊如下：

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"                writeType="0" dbType="mysql" dbDriver="native" switchType="-1"  slaveThreshold="100">                <heartbeat>select user()</heartbeat>                <!-- can have multi write hosts -->                <writeHost host="hostM1" url="localhost:3306" user="root"                        password="123456">                </writeHost>                <writeHost host="hostS1" url="192.168.244.146:3306" user="root"                        password="123456" />                <writeHost host="hostS2" url="192.168.244.144:3306" user="root"                                              password="123456" /></dataHost>

這裡面，有兩個參數需要注意，balance和 switchType。

其中，balance指的負載平衡類型，目前的取值有4種：

1. balance="0", 不開啟讀寫分離機制，所有讀操作都發送到當前可用的writeHost上。

2. balance="1"，全部的readHost與stand by writeHost參與select語句的負載平衡，簡單的說，當雙主雙從模式(M1->S1，M2->S2，並且M1與 M2互為主備)，正常情況下，M2,S1,S2都參與select語句的負載平衡。

3. balance="2"，所有讀操作都隨機的在writeHost、readhost上分發。

4. balance="3"，所有讀請求隨機的分發到wiriterHost對應的readhost執行，writerHost不負擔讀壓力

switchType指的是切換的模式，目前的取值也有4種：

1. switchType=‘-1‘ 表示不自動切換

2. switchType=‘1‘ 預設值，表示自動切換

3. switchType=‘2‘ 基於MySQL主從同步的狀態決定是否切換,心跳語句為 show slave status

4. switchType=‘3‘基於MySQL galary cluster的切換機制（適合叢集）（1.4.1），心跳語句為 show status like ‘wsrep%‘。

 

因此，該設定檔中的balance="1"意味著作為stand by writeHost的hostS1和hostS2將參與select語句的負載平衡，這就實現了主從的讀寫分離，switchType=‘-1‘意味著當主掛掉的時候，不進行自動切換，即hostS1和hostS2並不會被提升為主，仍只提供讀的功能。這就避免了將資料讀進slave的可能性，畢竟，單純的MySQL主從叢集並不允許將資料讀進slave中，除非配置的是雙master。

 

驗證讀寫分離

下面來驗證一下，

建立Travelrecord表

create table travelrecord (id bigint not null primary key,user_id varchar(100),traveldate DATE, fee decimal,days int);

插入資料

mysql> insert into travelrecord(id,user_id,traveldate,fee,days)  values(1,@@hostname,20160101,100,10);Query OK, 1 row affected, 1 warning (0.02 sec)mysql> insert into travelrecord(id,user_id,traveldate,fee,days)  values(5000001,@@hostname,20160102,100,10);Query OK, 1 row affected, 1 warning (0.01 sec)

在這裡，用了一個取巧的方法，即對user_id插入了當前執行個體的主機名稱，這樣可直觀的觀察讀寫是否分離以及MyCAT的分區功能。能這樣做的原因在於我當前的MySQL版本-5.6.26預設是基於statement的複製，如果是基於row的複製，則這個方法將不可取。

查詢資料

mysql> select * from travelrecord;+---------+---------------+------------+------+------+| id      | user_id       | traveldate | fee  | days |+---------+---------------+------------+------+------+|       1 | mysql-server2 | 2016-01-01 |  100 |   10 || 5000001 | mysql-server3 | 2016-01-02 |  100 |   10 |+---------+---------------+------------+------+------+2 rows in set (0.01 sec)mysql> select * from travelrecord;+---------+---------------+------------+------+------+| id      | user_id       | traveldate | fee  | days |+---------+---------------+------------+------+------+| 5000001 | mysql-server3 | 2016-01-02 |  100 |   10 ||       1 | mysql-server2 | 2016-01-01 |  100 |   10 |+---------+---------------+------------+------+------+2 rows in set (0.02 sec)mysql> select * from travelrecord;+---------+---------------+------------+------+------+| id      | user_id       | traveldate | fee  | days |+---------+---------------+------------+------+------+| 5000001 | mysql-server3 | 2016-01-02 |  100 |   10 ||       1 | mysql-server3 | 2016-01-01 |  100 |   10 |+---------+---------------+------------+------+------+2 rows in set (0.01 sec)mysql> select * from travelrecord;+---------+---------------+------------+------+------+| id      | user_id       | traveldate | fee  | days |+---------+---------------+------------+------+------+| 5000001 | mysql-server3 | 2016-01-02 |  100 |   10 ||       1 | mysql-server3 | 2016-01-01 |  100 |   10 |+---------+---------------+------------+------+------+2 rows in set (0.01 sec)mysql> select * from travelrecord;+---------+---------------+------------+------+------+| id      | user_id       | traveldate | fee  | days |+---------+---------------+------------+------+------+|       1 | mysql-server2 | 2016-01-01 |  100 |   10 || 5000001 | mysql-server2 | 2016-01-02 |  100 |   10 |+---------+---------------+------------+------+------+

從上面的輸出結果，可以得出以下兩點：

一、該配置已實現讀寫分離，讀出來的資料沒有master節點的。

二、MyCAT的隨機分發不是基於statement的，即一個select語句查詢其中一個節點，另外一個select語句查詢另外一個節點。它分髮針對的是片的，同一個select語句的結果是有不同dataNode返回的。

不僅如此，從MyCAT日誌中也可以擷取讀寫分離的相關資訊，當然，前提是MyCAT的記錄層級是debug。日誌相關資訊如下：

 

驗證mater掛了，slave還能提供讀的功能

對於MySQL主從叢集，我們的需求是master掛了，slave還能提供讀的功能。

下面來測試一下

首先，人為的關閉主庫

[[email protected] ~]# /etc/init.d/mysqld stop

登入MyCAT

[[email protected] ~]# mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB

插入資料

mysql> insert into travelrecord(id,user_id,traveldate,fee,days)  values(10000001,@@hostname,20160103,100,10);ERROR 1184 (HY000): Connection refusedmysql> select * from travelrecord;+---------+---------------+------------+------+------+| id      | user_id       | traveldate | fee  | days |+---------+---------------+------------+------+------+|       1 | mysql-server2 | 2016-01-01 |  100 |   10 || 5000001 | mysql-server3 | 2016-01-02 |  100 |   10 |+---------+---------------+------------+------+------+2 rows in set (0.02 sec)

可見無法插入資料，但不影響讀取資料。

至此，MyCAT實現MySQL的讀寫分離部署測試完畢。

 

總結：

1. 其實，剛開始配置的是readHost節點，配置如下：

 <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"                writeType="0" dbType="mysql" dbDriver="native" switchType="-1"  slaveThreshold="100">                <heartbeat>select user()</heartbeat>                <!-- can have multi write hosts -->                <writeHost host="hostM1" url="localhost:3306" user="root"                        password="123456">                        <!-- can have multi read hosts -->                <readHost host="hostS1" url="192.168.244.146:3306" user="root" password="123456" />                </writeHost></dataHost>

但這種方式有個問題，即master掛了以後，slave也不能提供服務，而這違反了MySQL主從叢集的初衷。

2. 如果開啟了事務模式，即set autocommit=0，則事務內的讀走的是master節點，而不是從節點。

 http://www.cnblogs.com/ivictor/p/5131480.html  

MyCAT部署及實現讀寫分離（轉）