大資料讀書筆記(2)-流式計算

標籤：

早期和當前的"流式計算"系統分別稱為"連續查詢處理類"和"可擴充資料流平台類"計算系統。

 

流式計算系統的特點：

1)低延遲 2)極佳的系統容錯性 3)極強的系統擴充能力 4）靈活強大的應用邏輯表達能力

 

目前典型的流式計算系統：

S4，storm，millwheel，samza，d-stream，hadoop online，mupd8等。

其中storm和millwheel是各方面比較突出的。

 

流式計算系統架構：

常見的流式計算系統架構分為兩種：主從模式和p2p模式。

主從模式storm、millwheel和samza

p2p模式s4

samza是利用訊息系統kafka和hadoop2.0的資源管理系統Yarn綜合而成的，架構比較獨特，但本質上遵循主從架構。

 

送達保證

三種可能：至少送達一次(at_least once delivery),至多送達一次(at_most once delivery),恰好送達一次(Exeact-once delivery)。

storm在系統中提供"恰好送達一次"語義是通過送達保證機制和事務拓撲聯合來完成的。

samza依靠kafka的訊息持久化聯合broker緩衝機制，保證"恰好送達一次"語義。

 

大資料讀書筆記(2)-流式計算