MapReduce ChainMapper/ChainReducer

標籤：比較   after   mapreduce   http   重複   通用   com   column   details   

The ChainMapper class allows to use multiple Mapper classes within a single Map task. 

The ChainReducer class allows to chain multiple Mapper classes after a Reducer within the Reducer task.

 

　　沒有Chain之前，只能通用多個Job迭代來實現資料遞進處理，這樣做的缺點是：

　　　　a. 每次迭代，如果所有 Job 對象重複建立，代價將非常高。

　　　　b. 每次迭代，資料的 I/O和網路傳輸的代價比較大；

 

MapReduce工作流程三種方式：迭代；JobControl依賴；Chain鏈式結構；

 

--------

樣本參考：http://www.iteye.com/topic/1134144 （多個mapper執行不同操作，reducer合并處理後，再對唯一欄位進行處理）

　　　　   http://blog.csdn.net/genghaihua/article/details/46910865

　　

 

MapReduce ChainMapper/ChainReducer