大資料之二：Hadoop與Spark辨析

標籤：

轉載自知乎：https://www.zhihu.com/question/26568496

1） MapReduce:是一種離線計算架構，將一個演算法抽象成Map和Reduce兩個階段進行

處理，非常適合資料密集型計算。

2） Spark:MapReduce計算架構不適合迭代計算和互動式計算，MapReduce是一種磁碟

計算架構，而Spark則是一種記憶體計算架構，它將資料儘可能放到記憶體中以提高迭代

應用和互動式應用的計算效率。

3） Storm:MapReduce也不適合進行流式計算、即時分析，比如廣告點選計算等，而

Storm則更擅長這種計算、它在即時性要遠遠好於MapReduce計算架構。

4）Tez: 運行在YARN之上支援DAG作業的計算架構，對MapReduce資料處理的歸納。它

把Map/Reduce過程拆分成若干個子過程，同時可以把多個Map/Reduce工作群組合成一個

較大的DAG任務，減少了Map/Reduce之間的檔案儲存體。同時合理組合其子過程，也可

以減少任務的已耗用時間。

大資料之二：Hadoop與Spark辨析