【大資料工程師之路】Hadoop——MapReduce概述

標籤：

一、概述。

       MapReduce是一種可用於資料處理的編程模型。Hadoop可以運行由各種語言編寫的MapReuce程式。MapReduce分為Map部分和Reduce部分。

二、MapReduce的機制

       MapReduce分為幾大過程input、Mapper、shufle、reduce、output

1、input階段是指將原始檔案拷貝到HDFS中。

2、通過Mapper來處理成目標所需要的key-value形式然後進行排序，Map相當於把來源資料進行整理成目標資料所需要的資料材料。把多餘的資料去除。Map主要功能還有是對任務進行分解，把複雜、大量的任務分為若干個小任務並且分配到各個節點裡面進行並行計算。

3、shufile對資料進行一個預先處理

4、reduce操作是對多個Map的輸出進行，按照需要進行合并、排序。對輸入的key、value進行處理然後輸出想要的資料。

5、output過程就是將reduce操作後的資料存放到HDFS中。

三、總結

        MapReduce的作用就相當於ETL工具將原資料轉換成目標資料。從原資料取出所需要的資料然後進行加工後把資料送到目標庫作為目標資料。

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

【大資料工程師之路】Hadoop——MapReduce概述