Cobar是阿里巴巴研發的關係型資料的分散式處理系統,是提供關係型資料庫(MySQL)分布式服務的中介軟體,該產品成功替代了原先基於Oracle的資料存放區方案,它可以讓傳統的資料庫得到良好的線性擴充,並看上去還是一個資料庫,對應用保持透明。
- 產品在阿里巴巴穩定運行3年以上。
- 接管了3000+個MySQL資料庫的schema。
- 叢集日處理線上SQL請求50億次以上。
- 叢集日處理線上資料流量TB層級以上。
Cobar
的核心功能:
分布式:
Cobar的分布式主要是通過將表放入不同的庫來實現:
- Cobar支援將一張表水平分割成多份分別放入不同的庫來實現表的水平分割
- Cobar也支援將不同的表放入不同的庫
- 多數情況下,使用者會將以上兩種方式混合使用
要強調的是,Cobar不支援將一張表,例如test表拆分成test_1, test_2, test_3…..放在同一個庫中,必須將拆分後的表分別放入不同的庫來實現分布式。
HA
:
在使用者配置了MySQL心跳的情況下,Cobar可以自動向後端串連的MySQL發送心跳,判斷MySQL健全狀態,一旦運行出現異常,Cobar可以自動切換到備機工作。需要強調的是:
- Cobar的主備切換有兩種觸發方式,一種是使用者手動觸發,一種是Cobar的心跳語句檢測到異常後自動觸發。那麼,當心跳檢測到主機異常,切換到備機,如果主機恢複了,需要使用者手動切回主機工作,Cobar不會在主機恢複時自動切換回主機,除非備機的心跳也返回異常。
- Cobar只檢查MySQL主備異常,不關心主備之間的資料同步,因此使用者需要在使用Cobar之前在MySQL主備上配置雙向同步,詳情可以參閱MySQL參考手冊。
Cobar
的功能約束
- 不支援跨庫情況下的join、分頁、排序、子查詢操作。
- SET語句執行會被忽略,事務和字元集設定除外。
- 分庫情況下,insert語句必須包含拆分欄位列名。
- 分庫情況下,update語句不能更新拆分欄位的值。
- 不支援SAVEPOINT操作。
- 暫時只支援MySQL資料節點。
- 使用JDBC時,不支援rewriteBatchedStatements=true參數設定(預設為false)。
- 使用JDBC時,不支援useServerPrepStmts=true參數設定(預設為false)。
- 使用JDBC時,BLOB, BINARY, VARBINARY欄位不能使用setBlob()或setBinaryStream()方法設定參數。
Cobar邏輯層次圖
- dataSource:資料來源,表示一個具體的資料庫連接,與物理存在的資料庫schema一一對應。
- dataNode:資料節點,由主、備資料來源,資料來源的HA以及串連池共同組成,可以將一個dataNode理解為一個分庫。
- table:表,包括拆分表(如tb1,tb2)和非拆分表。
- tableRule:路由規則,用於判斷SQL語句被路由到具體哪些datanode執行。
- schema:cobar可以定義包含拆分表的schema(如schema1),也可以定義無拆分表的schema(如schema2)。
Cobar支援的資料庫結構(schema)的層次關係具有較強的靈活性,使用者可以將表自由放置不同的datanode,也可將不同的datasource放置在同一MySQL執行個體上。在實際應用中,需要通過設定檔(schema.xml)來定義我們需要的資料庫伺服器和表的分布策略。
Cobar
的實現原理
Cobar的前、後端模組都實現了MySQL協議;當接受到SQL請求時,會依次進行解釋(SQL Parser)和路由(SQL Router)工作,然後使用SQL Executor去後端模組擷取資料集(後端模組還負責心跳檢測功能);如果資料集來自多個資料來源,Cobar則需要把資料集進行組合(Result Merge),最後返迴響應。
Cobar採用了主流的Reactor設計模式來處理請求,並使用NIO進行底層的資料交換,這大大提升系統的負載能力。其中,NIOAcceptor用於處理前端請求,NIOConnector則用於管理後端的串連,NIOProcessor用於管理多線程事件處理,NIOReactor則用於完成底層的事件驅動機制,就是看起來和Mina和Netty的網路模型比較相似。