shuffle過程的簡單描述

標籤：style   blog   http   檔案   資料   io   

shuffle是處在map和reduce之間的過程。我們看一下這個過程都有哪些步驟，對這個問題瞭解的並不深，可能有錯誤，忘指正

1. map

map輸出key,value，對應代碼裡的context.write(key, value);，這個步驟是將key，value寫到記憶體buffer裡了，這個記憶體的預設大小是100M

2. sort

當資料大小超過buffer容量的80%（預設）時，會將這部分資料進行排序，按照partition和key值進行排序，partition代表的是會分到哪個reducer裡

3. 溢寫

排好序之後將資料寫到磁碟上

4. merge

因為很多時候不是一次溢寫就可以了，可能會經過多次溢寫，所以會在磁碟上產生多個檔案，這個時候就需要將檔案進行合并。

5. copy

通過http的方式將上一個步驟中的磁碟上的資料copy到對應的reduce端

6. mergesort

每個map的輸出端的檔案時按照key排好序的，這個地方是對多個map端的檔案按照key進行排序，邊merge邊sort

7. reduce

更詳細的內容見這篇博文

http://blog.csdn.net/nwpuwyk/article/details/37904657