windows 8.0上eclipse 4.4.0 配置centos 6.5 上的hadoop2.2.0開發環境

標籤：des   style   blog   http   io   color   ar   os   java   

1. eclipse的hadoop外掛程式：https://github.com/winghc/hadoop2x-eclipse-plugin
2. 將下載的壓縮包解壓，將hadoop-eclipse-kepler-plugin-2.2.0這個jar包扔到eclipse下面的dropins目錄下，重啟eclipse即可
3. 進入windows->Preference配置根目錄，這裡面的hadoop installation directory並不是你windows上裝的hadoop目錄，而僅僅是你在centos上編譯好的源碼，在windows上的解壓路徑而已，該路徑僅僅是用於在建立MapReduce Project能從這個地方自動引入MapReduce所需要的jar
4. 進入Window-->Open Perspective-->other-->Map/Reduce開啟Map/Reduce視窗
5. 找到，右擊選擇，New Hadoop location，這個時候會出現Map/Reduce(V2)中的配置對應於mapred-site.xml中的連接埠配置，DFS Master中的配置對應於core-site.xml中的連接埠配置，配置完成之後finish即可，這個時候可以查看
6. 測試，建立一個MapReduce項目，，要解決這個問題，你必須要完成如下幾個步驟，在windows上配置HADOOP_HOME，然後將%HADOOP_HOME%\bin加入到path之中，然後去https://github.com/srccodes/hadoop-common-2.2.0-bin下載一個，下載之後將這個bin目錄裡面的東西全部拷貝到你自己windows上的HADOOP的bin目錄下，覆蓋即可，同時把hadoop.dll加到C盤下的system32中，如果這些都完成之後還是碰到：Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z，那麼就檢查一下你的JDK，有可能是32位的JDK導致的，需要下載64位JDK安裝，並且在eclipse將jre環境配置為你新安裝的64位JRE環境。如我的jre1.8是64位，jre7是32位，如果這裡面沒有，你直接add即可，選中你的64位jre環境之後，就會出現了。
7. 之後寫個wordcount程式測試一下，貼出My Code如下，前提是你已經在hdfs上建好了input檔案，並且在裡面放些內容

   import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception {//System.setProperty("hadoop.home.dir", "E:\\hadoop2.2\\"); Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); // if (otherArgs.length != 2) { // System.err.println("Usage: wordcount <in> <out>"); // System.exit(2); // } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("hdfs://master:9000/input")); FileOutputFormat.setOutputPath(job, new Path("hdfs://master:9000/output")); boolean flag = job.waitForCompletion(true); System.out.print("SUCCEED!" + flag); System.exit(flag ? 0 : 1); System.out.println(); }}

   至此，程式終於運行成功，重新整理一下你的DFS即可，看到輸出結果

windows 8.0上eclipse 4.4.0 配置centos 6.5 上的hadoop2.2.0開發環境