HybridDB for MySQL 實現線上與離線資料分離的實踐

摘要： 某知名企業的集團工作中樞，為了保障線上資料庫的效能和容量，降低母體資料存放區成本，避免離線資料的使用影響線上資料的使用，希望將線上商務系統早期生成的資料轉送到離線庫進行儲存。同時，離線海量資料對於商務剖析和未來商務規劃又有非常重要的價值，需要不週期性進行資料分析。迫切需要進行線上離線資料的分離。

本文將焦點介紹HybridDB for MySQL 實現線上與離線資料分離的實踐，精選！

核心商務關於

工作中樞彙聚了集團的所有工作流程工作，並提供統一的閘道給用戶處理集團的工作任務。

面臨主要問題

1、單表格儲存體量超高目前已有4千萬的資料，並且在急速的增長。預計年增長在200%以上。
2、商務需要大範圍的查詢由於商務需要查詢多張表，比如查詢線上，再查離線表。而且頻率和複雜度在升階。會導致慢sql的出現。

如何架構改造

線上資料與離線資料隔離，在資料存取層面不相互影響
線上資料到離線資料必須即時同步，保障高穩定性
定時清理線上表的離線資料。許諾線上隱藏的合理使用，許諾資料從產生到卸除的閉環程序。
許諾離線隱藏容量問題，離線資料不會清除，所以需要有合理的機制或充足的空間來許諾離線資料的隱藏。
離線資料太多的情況下，要許諾資料查詢的效率，不能太慢。

這個程序進行了多種技術方案的調研。最終選擇了基於 HybridDB for MySQL的線上離線資料分離。

選型產品優點

·1、能解決線上資料過多的問題

·2、能解決線上與離線同一個庫離線影響線上的問題

·3、在阿裡雲上使用比較多，方案成熟

·4、基本完全相容MySQL

·5、通過DTS同步，許諾資料的強固、即時性

·6、隱藏是線性擴充，不用擔心隱藏容量問題

·7、hybridDB是新型的HTAP（交易與剖析一體）關聯式資料庫，適合日誌、訊息曲目、歷史等資料的隱藏

對比效能

參考資料量查詢掃描行數的對比

從上圖來看，小資料量的SQL，MySQL回應快於HybridDB，隨著資料量的增加，MySQL的效能遠不如HybridDB。
所以，在小資料量的SQL推薦MySQL，超過千萬的資料量查詢，推薦使用HybridDB for MySQL。

HybridDB for MySQL

她是同時支援線上交易(OLTP)和線上剖析(OLAP)的關聯式 HTAP 類資料庫。
HTAP是HybridTransaction/Analytical Processing的簡寫，意為將資料的交易處理（TP）與剖析（AP）多工處理，從而實現對資料的即時處理剖析。

1、HybridDB for MySQL採用一份資料存放區來進行OLTP和OLAP處理，解決了以往需要把一份資料進行多次複製來分別進行商務交易和資料分析的問題，極大的降低了資料存放區的成本。
2、因為採用一份資料，HybridDBfor MySQL免去了以往線上資料庫（Operational Database）和資料倉儲（Data Warehouse）之間的海量資料負載程序，極大的縮短了資料分析的延遲，使得即時剖析決策系統成為可能。
2、HybridDB for MySQL相容MySQL的文法及函數，並且增加了對Oracle常用剖析函數的支援，100%完全相容TPC-H和TPC-DS測試標準，從而降低了用戶的開發、遷移和維修成本。

主要使用場景

1、巨量資料隱藏與剖析：可以基於一份資料進行交易（OLTP）與剖析（OLAP）多工處理，免去了線上資料庫和離線資料倉儲之間海量資料的複製、傳輸、負載和隱藏。
2、物聯網：物聯網有著資料擷取點多、資料總量大、並行高的套用特點，往往需要使用分庫分表和相應的資料分發技術才能承擔商務流量。他分散式架構遮罩了分庫分表的細節，只對用戶提供一個資料庫串連位址和相應的邏輯庫表，讓使用者的開發和運維成本降低到最低。
3、歷史資料：HybridDBfor MySQL可隱藏海量的歷史資料（最高可達到PB級），並且可以通過資料壓縮來進一步節省儲存空間，另有價格低廉的普通HDD硬碟隱藏供用戶選擇，極大減少了資料存放區的成本。

相關產品：

1. 雲資料庫PetaData

2. 雲資料庫RDS