4、2 核心組件

標籤：code   col   標記   row   任務   shuf   action   儲存   shuff   

 

1、Stage：虛的    並行的task集合，同一Stage的所有任務有著相同的Shuffle依賴。    階段的劃分按照shuffle標記來進行的。    一個階段含多個RDD，先有RDD後有Stage    一個階段含多個task    stage通過ShuffleDependency劃分，一個stage都是NarrowDependency    階段類型有兩種，ShuffleMapStage和ResultStage。    - ShuffleMapStage        該階段任務的結果是下一個階段任務的輸入。需要跟蹤每個分區所在的節點。        任務執行期間的中間過程，儲存task的輸出資料供下一個reduce進行fetch。        該階段可以單獨提交。    - ResultStage        結果階段直接執行rdd的action操作。        對一些分區應用計算函數（不一定需要在所有分區進行計算，比如說first()，take(3)）。2、Task：運行在一個節點上，實的        一個task包含一個RDD整個的變換的過程    從最後一個RDD的每個分區往前找他的依賴，就是它的任務;最後一個RDD的分區數就是該階段的task數    是spark執行單位，有兩種類型。    - ShuffelMapTask        在ShuffleMapStage由多個ShuffleMapTask組成。    - ResultTask        ResultStage由多個ResultTask組成，結果任務直接task後，將結果回傳給driver。3、job    一個action就是一個job4、Application    一個應用可含多個job。

 

4、2 核心組件