大資料的兩種處理方式

標籤：大資料   laxcus   hadoop   spark   處理方式   

       大資料的處理方式有兩種：基於記憶體的串流和基於硬碟的儲存處理。
       串流就好象是在經過的資料面前建一道水閘。資料流過這裡，經過閘門的時候，就進行篩選過濾，分析出有價值的內容，然後丟棄，以後也不再使用。
       儲存處理則是建一個儲水池。資料先放進入儲水池存起來，需要的時候，再進到儲水池裡，在裡面篩選分析，找到那些有價值的內容。這個過程中，因為水還在儲水池裡，沒放掉，所以可以供下次繼續使用。
       儲存模式的資料處理是可以重複的，用完再用，反覆使用。但是因為硬碟本身的機械特性問題，導致它處理速度慢，速率不高。不過現在也還是有一些針對硬碟的最佳化措施。
       串流因為資料的處理過程在記憶體裡進行，記憶體的處理效能是硬碟的數個量級，所以它的處理速率比儲存模式高很多。但是也因為資料駐留在記憶體裡，記憶體的特性是掉電即失的，只能一次性使用。所以串流通常是用完即棄，象衛生巾。
       巨量資料產品裡，Spark是串流，Laxcus、Hadoop是儲存處理。

大資料的兩種處理方式