Cobar基於MySQL的分散式資料庫服務中介軟體

來源:互聯網
上載者:User
Cobar是阿里巴巴研發的關係型資料的分散式處理系統,是提供關係型資料庫(MySQL)分布式服務的中介軟體,該產品成功替代了原先基於Oracle的資料存放區方案,它可以讓傳統的資料庫得到良好的線性擴充,並看上去還是一個資料庫,對應用保持透明。

 


  • 產品在阿里巴巴穩定運行3年以上。

  • 接管了3000+個MySQL資料庫的schema。

  • 叢集日處理線上SQL請求50億次以上。

  • 叢集日處理線上資料流量TB層級以上。

 

Cobar 的核心功能:

 

 

分布式:

 

Cobar的分布式主要是通過將表放入不同的庫來實現:

 


  • Cobar支援將一張表水平分割成多份分別放入不同的庫來實現表的水平分割

  • Cobar也支援將不同的表放入不同的庫

  • 多數情況下,使用者會將以上兩種方式混合使用

 

要強調的是,Cobar不支援將一張表,例如test表拆分成test_1, test_2, test_3…..放在同一個庫中,必須將拆分後的表分別放入不同的庫來實現分布式。

 

HA

 

在使用者配置了MySQL心跳的情況下,Cobar可以自動向後端串連的MySQL發送心跳,判斷MySQL健全狀態,一旦運行出現異常,Cobar可以自動切換到備機工作。需要強調的是:

 


  • Cobar的主備切換有兩種觸發方式,一種是使用者手動觸發,一種是Cobar的心跳語句檢測到異常後自動觸發。那麼,當心跳檢測到主機異常,切換到備機,如果主機恢複了,需要使用者手動切回主機工作,Cobar不會在主機恢複時自動切換回主機,除非備機的心跳也返回異常。

  • Cobar只檢查MySQL主備異常,不關心主備之間的資料同步,因此使用者需要在使用Cobar之前在MySQL主備上配置雙向同步,詳情可以參閱MySQL參考手冊。

 

Cobar 的功能約束

 


  • 不支援跨庫情況下的join、分頁、排序、子查詢操作。

  • SET語句執行會被忽略,事務和字元集設定除外。

  • 分庫情況下,insert語句必須包含拆分欄位列名。

  • 分庫情況下,update語句不能更新拆分欄位的值。

  • 不支援SAVEPOINT操作。

  • 暫時只支援MySQL資料節點。

  • 使用JDBC時,不支援rewriteBatchedStatements=true參數設定(預設為false)。

  • 使用JDBC時,不支援useServerPrepStmts=true參數設定(預設為false)。

  • 使用JDBC時,BLOB, BINARY, VARBINARY欄位不能使用setBlob()或setBinaryStream()方法設定參數。

 

Cobar邏輯層次圖

 

 


  • dataSource:資料來源,表示一個具體的資料庫連接,與物理存在的資料庫schema一一對應。

  • dataNode:資料節點,由主、備資料來源,資料來源的HA以及串連池共同組成,可以將一個dataNode理解為一個分庫。

  • table:表,包括拆分表(如tb1,tb2)和非拆分表。

  • tableRule:路由規則,用於判斷SQL語句被路由到具體哪些datanode執行。

  • schema:cobar可以定義包含拆分表的schema(如schema1),也可以定義無拆分表的schema(如schema2)。

 

Cobar支援的資料庫結構(schema)的層次關係具有較強的靈活性,使用者可以將表自由放置不同的datanode,也可將不同的datasource放置在同一MySQL執行個體上。在實際應用中,需要通過設定檔(schema.xml)來定義我們需要的資料庫伺服器和表的分布策略。

 

Cobar 的實現原理

 

Cobar的前、後端模組都實現了MySQL協議;當接受到SQL請求時,會依次進行解釋(SQL Parser)和路由(SQL Router)工作,然後使用SQL Executor去後端模組擷取資料集(後端模組還負責心跳檢測功能);如果資料集來自多個資料來源,Cobar則需要把資料集進行組合(Result Merge),最後返迴響應。

 

 

Cobar採用了主流的Reactor設計模式來處理請求,並使用NIO進行底層的資料交換,這大大提升系統的負載能力。其中,NIOAcceptor用於處理前端請求,NIOConnector則用於管理後端的串連,NIOProcessor用於管理多線程事件處理,NIOReactor則用於完成底層的事件驅動機制,就是看起來和Mina和Netty的網路模型比較相似。

 

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.