標籤：hadoop 資料流 生命週期
大資料時代之hadoop(一)：hadoop安裝
大資料時代之hadoop(二)：hadoop指令碼解析
瞭解hadoop，首先就需要先瞭解hadoop的資料流，就像瞭解servlet的生命週期似的。hadoop是一個分布式儲存（hdfs）和分散式運算架構（mapreduce），但是hadoop也有一個很重要的特性：hadoop會將mapreduce計算移動到儲存有部分資料的各台機器上。
術語
MapReduce 作業（job）是用戶端需要執行的一個工作單元：它包括輸入資料、mapreduce程式和配置資訊。hadoop將作業分成若干個小任務（task）來執行，其中包括兩類任務：
map任務和reduce任務。
有兩類節點控制著作業執行過程：
一個jobtracker及一系列tasktracker。jobtracker通過調度tasktracker上啟動並執行任務，來協調所有運行在系統上的作業。tasktracker在運行任務的同時將運行進度報告發送給jobtracker，jobtracker由此記錄每項作業任務的整體進度情況。如果其中一個任務失敗，jobtracker可以在另外一個tasktracker節點上重新調度該任務。
輸入
hadoop將mapreduce的輸入資料劃分成等長的小資料區塊，稱為
輸入分區（input split）或簡稱分區。
hadoop為每個分區構建一個map任務，並由該任務來運行使用者自訂的map函數從而處理分區中的每條記錄。
對於大多數作業來說，
一個合理的分區大小趨向於HDFS的一個塊的大小，預設是64M，不過可以針對叢集調整這個預設值。分區的大小一定要根據啟動並執行任務來定，如果分區過小，那麼管理分區的總時間和構建map任務的總時間將決定著作業的整個執行時間。
hadoop在儲存有輸入資料的節點上運行map任務，可以獲得最佳效能，這就是所謂的
資料本地化最佳化。因為塊是hdfs儲存資料的最小單元，每個塊可以在多個節點上同時存在（備份），一個檔案被分成的各個塊被隨機分部在多個節點上，因此如果一個map任務的輸入分區跨越多個資料區塊，那麼基本上沒有一個節點能夠恰好同時存在這幾個連續的資料區塊，那麼map任務就需要首先通過網路將不存在於此節點上的資料區塊遠程複製到本節點上再運行map函數，那麼這種任務顯然效率非常低。
輸出
map任務將其輸出寫入到本地磁碟，而非HDFS。這是因為map的輸出是中間結果：該中間結果有reduce任務處理後才產生最終結果（儲存在hdfs中）。而一旦作業完成，map的輸出結果可以被刪除。
reduce任務並不具備資料本地化優勢：單個reduce任務的輸入通常來自於所有的mapper任務的輸出。
reduce任務的輸出通常儲存於HDFS中以實現可靠儲存。
資料流
作業根據設定的reduce任務的個數不同，資料流也不同，但大同小異。reduce任務的數量並非由輸入資料的大小決定的，而是可以通過手動設定指定的。
單個reduce任務
多個reduce任務
如果是多個reduce任務的話，則
每個map任務都會對其輸出進行分區（partition），即為每個reduce任務建立一個分區。分區有使用者定義的分區函數控制，預設的分區器（partitioner） 通過雜湊函數來分區。
map任務和reduce任務之間的資料流稱為
shuffle（混洗）。
沒有reduce任務 當然也可能出現不需要執行reduce任務的情況，即資料可以完全的並行。
combiner（合并函數） 順便在這說下combiner吧，hadoop運行使用者針對map任務的輸出指定一個合并函數，合并函數的輸出作為reduce函數的輸入。其實合并函數就是一個最佳化方案，說白了就是在map任務執行後在本機先執行合并函數（通常就是reduce函數的拷貝），減少網路傳輸量。
大資料時代之hadoop(三)：hadoop資料流（生命週期）
