Storm和Spark比較

標籤：style   color   使用   ar   strong   資料   art   div   sp   

spark

Spark基於這樣的理念，當資料龐大時，把計算過程傳遞給資料要比把資料傳遞給計算過程要更富效率。

每個節點儲存（或緩衝）它的資料集，然後任務被提交給節點。所以這是把計算過程傳遞給資料。

這和Hadoop map/reduce非常相似，除了積極使用記憶體來避免I/O操作，以使得迭代演算法（前一步計算輸出是下一步計算的輸入）效能更高。

storm

而Storm的架構和Spark截然相反。Storm是一個分布式StreamCompute引擎。

每個節點實現一個基本的計算過程，而資料項目在互相串連的網路節點中流進流出。這個是把資料傳遞給計算過程。

兩個架構都用於處理大量資料的並行計算。

Storm和Spark比較 

Storm在動態處理大量產生的“小資料區塊”上要更好（比如在Twitter資料流上Realtime Compute一些匯聚功能或分析）。

Spark工作於現有的資料全集（如Hadoop資料）已經被匯入Spark叢集，Spark基於in-memory管理可以進行快訊掃描，並最小化迭代演算法的全域I/O操作。

不過Spark流模組（Streaming Module）倒是和Storm相類似（都是StreamCompute引擎），儘管並非完全一樣。

Spark流模組先匯聚批量資料然後進行資料區塊分發（視作不可變資料進行處理），而Storm是只要接收到資料就即時處理並分發。

不確定哪種方式在資料輸送量上要具優勢，不過Storm計算時間延遲要小。

 

總結下，Spark和Storm設計相反，而Spark Steaming才和Storm類似。

Storm和Spark比較