Apache Spark源碼走讀

HTTP://www.aliyun.com/zixun/aggregation/13383.html">Spark是發源于美國加州大學伯克利分校AMPLab的集群計算平臺，它立足于記憶體計算，性能超過Hadoop百倍 ，即使使用磁片，反覆運算類型的計算也會有10倍速度的提升。 Spark從多反覆運算批量處理出發，兼收並蓄資料倉儲、流處理和圖計算等多種計算范式，是罕見的全能選手。 Spark當下已成為Apache基金會的頂級開源專案，擁有著龐大的社區支援——活躍開發者人數已超過Hadoop MapReduce）。 這裡，我們為大家分享許鵬的「Apache Spark源碼走讀」系列博文，從源碼方面對這個流行大資料計算框架進行深度瞭解。

以下為博文

楔子

源碼閱讀是一件非常容易的事，也是一件非常難的事。 容易的是代碼就在那裡，一打開就可以看到。 難的是要通過代碼明白作者當初為什麼要這樣設計，設計之初要解決的主要問題是什麼。

在對Spark的源碼進行具體的走讀之前，如果想要快速對Spark的有一個整體性的認識，閱讀Matei Zaharia做的Spark論文是一個非常不錯的選擇。

在閱讀該論文的基礎之上，再結合Spark作者在2012 Developer Meetup上做的演講Introduction to Spark Internals，那麼對於Spark的內部實現會有一個比較大概的瞭解。

有了上述的兩篇文章奠定基礎之後，再來進行源碼閱讀，那麼就會知道分析的重點及難點。

基本概念（Basic Concepts）

1. RDD——Resillient Distributed Dataset 彈性分散式資料集。

2. Operation——作用於RDD的各種操作分為transformation和action。

3. Job——作業，一個JOB包含多個RDD及作用於相應RDD上的各種operation。

4. Stage——一個作業分為多個階段。

5. Partition——資料分區， 一個RDD中的資料可以分成多個不同的區。

6. DAG——Directed Acycle graph，有向無環圖，反應RDD之間的依賴關係。

7. Narrow dependency——窄依賴，子RDD依賴于父RDD中固定的data partition。

8. Wide Dependency——寬依賴，子RDD對父RDD中的所有data partition都有依賴。

9. Caching Managenment——緩存管理，對RDD的中間計算結果進行緩存管理以加快整體的處理速度。

程式設計模型（Programming Model）

RDD是唯讀的資料分區集合，注意是資料集。

作用於RDD上的Operation分為transformantion和action。 經Transformation處理之後，資料集中的內容會發生更改，由資料集A轉換成為資料集B；而經Action處理之後，資料集中的內容會被歸約為一個具體的數值。

只有當RDD上有action時，該RDD及其父RDD上的所有operation才會被提交到cluster中真正的被執行。

從代碼到動態運行，涉及到的元件如下圖所示。

演示代碼

運行態（Runtime view）

不管什麼樣的靜態模型，其在動態運行的時候無外乎由進程，執行緒組成。

用Spark的術語來說，static view稱為dataset view，而dynamic view稱為parition view。 關係如圖所示

在Spark中的task可以對應于執行緒，worker是一個個的進程，worker由driver來進行管理。

那麼問題來了，這一個個的task是如何從RDD演變過來的呢？ 下節將詳細回答這個問題。

部署（Deployment view）

當有Action作用於某RDD時，該action會作為一個job被提交。

在提交的過程中，DAGScheduler模組介入運算，計算RDD之間的依賴關係。 RDD之間的依賴關係就形成了DAG。

每一個JOB被分為多個stage，劃分stage的一個主要依據是當前計算因數的輸入是否是確定的，如果是則將其分在同一個stage，避免多個stage之間的消息傳遞開銷。

當stage被提交之後，由taskscheduler來根據stage來計算所需要的task，並將task提交到對應的worker。

Spark支援以下幾種部署模式，Standalone、Mesos和YARN。 這些部署模式將作為taskscheduler的初始化入參。

RDD介面（RDD Interface）

RDD由以下幾個主要部分組成

partitions——partition集合，一個RDD中有多少data partition

dependencies——RDD依賴關係

compute(parition)——對於給定的資料集，需要作哪些計算

preferredLocations——對於data partition的位置偏好

partitioner——對於計算出來的資料結果如何分發

緩存機制（caching）

RDD的中間計算結果可以被緩存起來，緩存先選Memory，如果Memory不夠的話，將會被寫入到磁片中。

根據LRU（last-recent update）來決定哪先內容繼續保存在記憶體，哪些保存到磁片。

容錯性（Fault-tolerant）

從最初始的RDD到衍生出來的最後一個RDD，中間要經過一系列的處理。 那麼如何處理中間環節出現錯誤的場景呢？

Spark提供的解決方案是只對失效的data partition進行事件重演，而無須對整個資料全集進行事件重演，這樣可以大大加快場景恢復的開銷。

RDD又是如何知道自己的data partition的number該是多少？ 如果是HDFS檔，那麼HDFS檔的block將會成為一個重要的計算依據。

集群管理（cluster management）

task運行在cluster之上，除了Spark自身提供的Standalone部署模式之外，Spark還內在支援Yarn和mesos。

Yarn來負責計算資源的調度和監控，根據監控結果來重啟失效的task或者是重新distributed task一旦有新的node加入cluster的話。

這一部分的內容需要參Yarn的文檔。

小結

在源碼閱讀時，需要重點把握以下兩大主線。

靜態view 即 RDD，transformation and action

動態view 即 life of a job， 每一個job又分為多個stage，每一個stage中可以包含多個rdd及其transformation，這些stage又是如何映射成為task被distributed到cluster中