Apache Spark RDD初談2

標籤：

　　RDD是Spark最基本也是最根本的資料抽象，它具備像MapReduce等資料流模型的容錯性，並且允許開發人員在大型叢集上執行基於記憶體的計算。

為了有效地實現容錯，（詳細見http://www.cnblogs.com/zlslch/p/5718799.html ）RDD提供了一種高度受限的共用記憶體，即RDD是唯讀，並且，只能通過其他RDD上的大量操作來建立。

　　RDD只支援粗粒度轉換，限制了編程模型。

　　但RDD仍然可以很好地適用於很多應用，特別是支援資料並行的批量分析應用，包括資料採礦、機器學習、圖演算法等，因為這些程式通常都會在很多記錄上執行相同的操作。

　　RDD不太適合那些非同步更新共用狀態的應用，例如並行Web網路爬蟲。

因此，Spark的目標是為大多數分析型應用提供有效編程模型，而其他類型的應用則交給專們的系統。

Apache Spark RDD初談2