Hadoop之MapReduce

標籤：

此文章已於 23:19:00 2015/8/4 重新發布到 農民阿姨

Hadoop之MapReduce

MapReduce原理***

MapReduce執行過程***

1. map任務處理

1.1 讀取輸入檔案內容，解析成key、value對。對輸入檔案的每一行，解析成key、value對。每一個索引值對調用一次map函數。

1.2 寫自己的邏輯，對輸入的key、value處理，轉換成新的key、value輸出。

1.3 對輸出的key、value進行分區。

1.4 對不同分區的資料，按照key進行排序、分組。相同key的value放到一個集合中。

1.5 (可選)分組後的資料進行歸約。

2.reduce任務處理

2.1 對多個map任務的輸出，按照不同的分區，通過網路copy到不同的reduce節點。

2.2 對多個map任務的輸出進行合并、排序。寫reduce函數自己的邏輯，對輸入的key、values處理，轉換成新的key、value輸出。

2.3 把reduce的輸出儲存到檔案中。

資料類型與格式***

Writable介面與序列化機制***

---------------------------加深拓展----------------------

MapReduce的執行過程源碼分析

Mapreduce 在多於10PB資料時趨向於變慢

Hadoop之MapReduce