《雲端運算架構技術與實踐》連載20：2.4.5 大資料分析雲

標籤：

2.4.5大資料分析雲

雲端式計算總體架構下的大資料分析雲解決方案，2-33所示。

 

圖2-33大資料分析雲解決方案架構子系統組合

大資料分析雲解決方案為海量待用資料批處理以及大流量動態流資料處理為關鍵特徵的企業及行業應用情境提供支撐，通過自動化提取與歸納價值資訊實現業務增值。大資料分析雲由雲端運算的並行資料分析與挖掘平台所支撐，可充分利用雲端運算底層能力創造最大價值。

在海量待用資料批處理的情境下，巨量資料分析平台需要充分分析經過相當長一段時間積累的，儲存容量龐大的曆史資料（如話單、日誌、話統資訊等）。巨量資料分析平台的並行資料處理引擎進一步依賴於彈性計算叢集、彈性儲存服務、分布式結構化儲存服務以及分布式訊息佇列服務，為諸如互連網電子商務網站使用者、電信電訊廠商的BSS/OSS系統、視頻娛樂類網站、搜尋類網站提供服務。巨量資料分析平台所提供的服務類型包括：資訊庫精細化搜尋、使用者消費行為日誌分析、系統作業記錄分析以及集中監控信令資訊的智能分析和挖掘。這些大資料分析服務為精確定位廣告推送、網路營運最佳化、基於使用者消費趨勢分析的銷售策略最佳化等商業運營提供決策性支撐。

在大流量動態資料流處理的情境下，其關鍵特徵在於對來自於數量龐大的資訊源所產生的動態事件與動態資料（比如來自電信網路即時檢測的信令資訊、來自於眾多車輛GPS的定位資訊、來自物聯網終端即時採集的資訊等），在一個相對較短的時間視窗內，進行動態資料的流水線方式自動關聯分析與處理，並給出及時、準確和智能的執行策略決策，為特定營運目標服務（如大規模智能交通雲、物流雲網路的構建）。與上節資料批處理在分割、合并與混排等中間步驟所涉及的大量持久化儲存I/O互動方面的特徵相比，其最大差異處在於，資料流處理過程更講究處理的及時性與敏捷控制能力，因此處理過程主要在記憶體中完成。流處理與批處理可以統一在相同的架構引擎之下。

為便於廣大第三方應用開發編程人員以及雲端運算平台生態系統的夥伴充分獨立于海量資料批處理以及流處理業務的內部實現架構細節，可在並行資料分析引擎與並發應用之間設定SQL/類SQL適配與翻譯層，提供開發人員所熟知的SQL或類SQL規範語言進行海量資料的操作。

《雲端運算架構技術與實踐》連載20：2.4.5 大資料分析雲