一種基於NoSQL的並行資料增量處理機制研究
華中科技大學 劉煒
雲計算為資料處理工作帶來了新的機遇與挑戰。 傳統的關聯式資料庫在大資料的需求面前顯得力不從心，而分散式非關聯式資料庫由於其高可靠性、高可用性的特性，能夠滿足大資料帶來的高併發、高讀寫需求。 然而，分散式非關聯式資料庫優越的性能是以犧牲SQL資料處理能力為代價的。 因此，提高非關聯式資料庫的資料處理能力就成為一個重要的研究課題。 非關聯式資料庫資料處理能力可以從離線資料處理和線上資料處理兩個方面進行提高。 在離線資料處理方面，將開源MapReduce資料處理系統Hadoop與非關聯式資料庫相結合，通過為非關聯式資料庫實現Hadoop作業配置模組、資料分片模組、資料輸入和輸出模組， Hadoop能直接對存儲在非關聯式資料庫中的海量資料進行處理，既保留了非關聯式資料庫高可靠、高可用的特性，又增強了系統對資料的離線批次處理能力。 而在線上資料處理方面，首先基於非關聯式資料庫內置的分散式單行事務功能，通過一系列存儲控制過程實現分散式多行事務演算法。 其次通過在資料庫表中增加冗余列和為資料庫系統調用註冊鉤子函數的方法，在非關聯式資料庫中實現類似觸發器的消息通知機制。 根據多行事務演算法和消息通知機制，針對具體應用場景，在非關聯式資料庫中實現增量資料處理，以滿足線上資料處理的需求。 針對包含4,200,000條結構化資料記錄的資料集進行了測試。
一種基於NoSQL的並行資料增量處理機制研究
Start building with 50+ products and up to 12 months usage for Elastic Compute Service
1 on 1 presale consultation
24/7 Technical Support 6 Free Tickets per Quarter Faster Response
Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.
A comprehensive suite of global cloud computing services to power your business
Payment Methods We Support
