MapReduce 的進一步瞭解（一）

標籤：mapreduce   函數   

1、map任務處理

1.1讀取輸入檔案內容，接卸成key、value對。對輸入檔案的每一行，解析成key、value對。每一個鍵值對調用一次map函數。

1.2寫自己的邏輯，對輸入的key、value處理，轉換成新的key、value輸出。

1.3對輸出的key、value進行分區。

1.4對不同分區的資料，按照key進行排序、分區。相同key的value放到一個集合中。

1.5（可選）分組後的資料進行歸納。

2、reduce任務處理

2.1對多個map任務的輸出，按照不同的分區，通過網路copy到不同的reduce節點。

2.2對多個map任務的輸出進行合并、排序。寫reduce函數自己的邏輯，對輸入的key、value處理，轉換成新的key、value輸出。

2.3把reduce的輸出儲存到檔案中。

===================================================================================

3、worldcount案例應用

/*
 * 1、分析商務邏輯，確定輸入輸出資料的樣式
 * 2、自訂一個類，這個類要繼承mapper，重寫map方法，實現具體商務邏輯，然後將新的key，value輸出
 * 3、自頂一個各類，這個類要繼承reducer，重寫reduce方法，實現具體商務邏輯，然後將新的key,value輸出
 * 4、將自訂的mapper和reducer通過job對象組裝起來
 */

map方法

package cn.intcast.hadoop.mr;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class WCMapper extends Mapper<LongWritable, Text , Text, LongWritable>{//重寫map方法 shift+alt+s//注意序列化機制，jdk和hadoop中的序列化是不一樣的，這裡應採用hadoop中的類LongWritable,對應long；Text對應String@Overrideprotected void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException { //接收資料V1String line = value.toString();//切分資料String[] words = line.split(" ");//迴圈for(String w:words){//出現一次，記錄一次輸出context.write(new Text(w), new LongWritable(1));}}    }

reduce函數

package cn.intcast.hadoop.mr;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;public class WCReducer extends Reducer<Text, LongWritable, Text, LongWritable> {@Overrideprotected void reduce(Text k2, Iterable<LongWritable> v2s, Context context)throws IOException, InterruptedException {//接收資料Text k3 = k2;//定義一個計數器long counter = 0;//迴圈v2sfor(LongWritable i : v2s){counter += i.get();}//輸出context.write(k3, new LongWritable(counter));}}

WorldCount主函數

package cn.intcast.hadoop.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WorldCount {public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {    //構建一個job對象Job job = Job.getInstance(new Configuration());//注意：main方法所在的類job.setJarByClass(WorldCount.class);//組裝map和reduce方法//設定mapper相關屬性job.setMapperClass(WCMapper.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(LongWritable.class);FileInputFormat.setInputPaths(job, new Path("/user/guest/words.txt"));//設定reducer相關屬性job.setReducerClass(WCReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class);FileOutputFormat.setOutputPath(job, new Path("/wcout0804"));job.waitForCompletion(true);}}



著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

MapReduce 的進一步瞭解（一）