Amoeba for MySQL—分散式資料庫Proxy解決方案

Amoeba for MySQL 位於Client、Database Server(s)之間，具有負載平衡、高可用性、sql過濾、可承受高並發、讀寫分離、Query Route（解析sql query語句，並且根據條件與預先設定的規則，請求到指定的目標資料庫。可並發請求多台資料庫合并結果）、對用戶端透明，能降低資料切分帶來的複雜多資料庫結構、資料切分規則給應用帶來的影響。適用mysql 4.1或者以上版本（mysql 協議版本：10）暫時不支援事務、DDL語句目前只會分配給預設的資料庫執行，運行環境至少需要運行
mysql 4.1以上服務, Java 1.5或以上版本。
Amoeba與mysql proxy存在一些區別。在mysql proxy上面如果想要讀寫分離並且讀叢集、寫叢集機器比較多情況下，用mysql proxy 需要自己寫一個LUA指令碼，目前mysql proxy沒有現成的比較好的lua指令碼。amoeba只需要進行相關的配置就可以滿足需求。

一、Mysql Master/Slave 結構之下的讀寫分離：
Master： serverM （主庫，接收寫操作）
slaves：serverA、serverB、serverC（3個輔庫，唯讀操作）

amoeba提供讀寫分離pool相關配置，可配置serverA、serverB、serverC形成一個虛擬virtualSlave,該配置提供LB,failover/failbackup功能.
 
<dbServer name="virtualSlave" virtual="true"> 
    <poolConfig> 
        <className>com.meidusa.amoeba.server.MultipleServerPool</className> 
        <!-- 負載平衡參數 1=ROUNDROBIN , 2=WEIGHTBASED --> 
        <property name="loadbalance">1</property> 
                  
        <!-- 參與該pool負載平衡的poolName列表以逗號分割 --> 
        <property name="poolNames">serverA,serverB,serverC</property> 
    </poolConfig> 
</dbServer> 

<dbServer name="virtualSlave" virtual="true">
 <poolConfig>
  <className>com.meidusa.amoeba.server.MultipleServerPool</className>
  <!-- 負載平衡參數 1=ROUNDROBIN , 2=WEIGHTBASED -->
  <property name="loadbalance">1</property>
    
  <!-- 參與該pool負載平衡的poolName列表以逗號分割 -->
  <property name="poolNames">serverA,serverB,serverC</property>
 </poolConfig>
</dbServer>

 

如果不啟用資料切分功能，那麼只需要配置QueryRouter屬性
wirtePool=serverM
readPool=virtualSlave

<queryRouter> 
    <className>com.meidusa.amoeba.mysql.parser.MysqlQueryRouter</className> 
    <property name="LRUMapSize">1500</property> 
    <property name="defaultPool">serverM</property> 
 
    <property name="writePool">serverM</property> 
    <property name="readPool">virtualSlave</property> 
 
    <property name="needParse">true</property> 
</queryRouter> 

 <queryRouter>
  <className>com.meidusa.amoeba.mysql.parser.MysqlQueryRouter</className>
  <property name="LRUMapSize">1500</property>
  <property name="defaultPool">serverM</property>

  <property name="writePool">serverM</property>
  <property name="readPool">virtualSlave</property>

  <property name="needParse">true</property>
 </queryRouter>

client發送過來的update/insert/delete語句被發送到wirtePool，將select語句發送到readPool機器執行。

 

二、資料切分方面：
這方面amoeba顯然也很容易，舉個資料切分例子：

select * from user_event where user_id='test' and  gmt_create between Sysdate() -1 and Sysdate()

如果根據gmt_create 時間進行資料切分，比如6個月進行切分一次，amoeba提供利用類似sql運算式進行資料切分：

規則1：GMT_CREATE > to_date('2008-01-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-05-31','yyyy-mm-dd')

規則1對應伺服器1

規則2：GMT_CREATE > to_date('2008-06-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-12-31','yyyy-mm-dd')

規則2對應伺服器2
上面的sql的條件 gmt_create 與規則裡面的的gmt_create 進行交集判斷，如果存在交集則表示符合規則，則會將sql轉移到 規則1 的相應的伺服器上面執行。

利用amoeba寫出這種類似規則很容易，但是要想做到資料切分以後可線性擴容，那麼這樣的規則需要自己根據業務實際情況進行設定。amoeba可同時將sql並發分發到多台伺服器、然後將結果合并再反饋給用戶端，而且amoeba內部採用無阻塞模式，背景工作執行緒是不會等待的,並發請求多台 database server情況下，用戶端等待的時間基本上面是效能最差的那台database server＋amoeba內部解析協議時間。

中文文檔地址： http://amoeba.sourceforge.net/amoeba.pdf  http://docs.hexnova.com/amoeba/
amoeba 未來發展方向： http://amoeba.sourceforge.net/amoeba-big-picture.pdf

檔案下載： http://www.sourceforge.net/projects/amoeba
amoeba 開發人員部落格: http://amoeba.meidusa.com