windows/ Linux下 myeclipse和eclipse下安裝配置hadoop外掛程式，myeclipsehadoop

windows/ Linux下 myeclipse和eclipse下安裝配置hadoop外掛程式，myeclipsehadoop

本人最近在windows上想寫一個測試的程式MaxMapperTemper，然後身邊沒有伺服器，所以想在win7上配置。

成功了。這裡寫下筆記希望對大家有協助

安裝和配置的步驟是：

我的是myeclipse 8.5

hadoop-1.2.2-eclipse-plugin.jar

1、安裝Hadoop開發外掛程式     hadoop安裝包contrib/目錄下有個外掛程式hadoop-1.2.2-eclipse-plugin.jar，拷貝到myeclipse根目錄下/dropins目錄下。2、 啟動myeclipse，開啟Perspective：【Window】->【Open Perspective】->【Other...】->【Map/Reduce】->【OK】3、 開啟一個View：【Window】->【Show View】->【Other...】->【MapReduce Tools】->【Map/Reduce Locations】->【OK】4、 添加Hadoop location：location name: 我填寫的是：localhost.Map/Reduce Master 這個框裡Host：就是jobtracker 所在的叢集機器，這裡寫localhostHort：就是jobtracker 的port，這裡寫的是9999這兩個參數就是mapred-site.xml裡面mapred.job.tracker裡面的ip和port  DFS Master 這個框裡Host：就是namenode所在的叢集機器，這裡寫localhostPort：就是namenode的port，這裡寫8888這兩個參數就是core-site.xml裡面fs.default.name裡面的ip和port（Use M/R master host，這個複選框如果選上，就預設和Map/Reduce Master這個框裡的host一樣，如果不選擇，就可以自己定義輸入，這裡jobtracker 和namenode在一個機器上，所以是一樣的，就勾選上） user name：這個是串連hadoop的使用者名稱，因為我是用lsq使用者安裝的hadoop，而且沒建立其他的使用者，所以就用lsq。下面的不用填寫。然後點擊finish按鈕，此時，這個視圖中就有多了一條記錄。重啟myeclipse並重新編輯剛才建立的那個串連記錄，現在我們編輯advance parameters tab頁（重啟編輯advance parameters tab頁原因：在建立串連的時候，這個advance paramters  tab頁面的一些屬性會顯示不出來，顯示不出來也就沒法設定，所以必須重啟一下eclipse再進來編輯才能看到）這裡大部分的屬性都已經自動填寫上了，其實就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml裡面的一些配置屬性展示出來。因為在安裝hadoop的時候，其site系列設定檔裡有改動，所以這裡也要弄成一樣的設定。主要關注的有以下屬性：fs.defualt.name：這個在General tab頁已經設定了mapred.job.tracker：這個在General tab頁也設定了dfs.replication：這個這裡預設是3，因為我在hdfs-site.xml裡面設定成了1，所以這裡也要設定成1 hadoop.job.ugi：這裡要填寫：lsq,Tardis，逗號前面的是串連的hadoop的使用者，逗號後面就寫死Tardis（這個屬性不知道我怎麼沒有...）然後點擊finish，然後就串連上了（先要啟動sshd服務，啟動hadoop進程），串連上的標誌5、建立Map/Reduce Project：【File】->【New】->【Project...】->【Map/Reduce】->【Map/Reduce Project】->【Project name: WordCount】->【Configure Hadoop install directory...】->【Hadoop installation directory: D:\cygwin\home\lsq\hadoop-0.20.2】->【Apply】->【OK】->【Next】->【Allow output folders for source folders】->【Finish】

6、建立WordCount類：添加/編寫原始碼：D:\cygwin\home\lsq\hadoop-1.2.2/src/examples/org/apache/hadoop/examples/WordCount.javapackage org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;public class WordCount {public static class TokenizerMapper        extends Mapper<Object, Text, Text, IntWritable>{private final static IntWritable one = new IntWritable(1);    private Text word = new Text();public void map(Object key, Text value, Context context                    ) throws IOException, InterruptedException {      StringTokenizer itr = new StringTokenizer(value.toString());      while (itr.hasMoreTokens()) {        word.set(itr.nextToken());        context.write(word, one);      }    }  }public static class IntSumReducer        extends Reducer<Text,IntWritable,Text,IntWritable> {    private IntWritable result = new IntWritable();public void reduce(Text key, Iterable<IntWritable> values,                        Context context                       ) throws IOException, InterruptedException {      int sum = 0;      for (IntWritable val : values) {        sum += val.get();      }      result.set(sum);      context.write(key, result);    }  }public static void main(String[] args) throws Exception {    Configuration conf = new Configuration();    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();    if (otherArgs.length != 2) {      System.err.println("Usage: wordcount <in> <out>");      System.exit(2);    }    Job job = new Job(conf, "word count");    job.setJarByClass(WordCount.class);    job.setMapperClass(TokenizerMapper.class);    job.setCombinerClass(IntSumReducer.class);    job.setReducerClass(IntSumReducer.class);    job.setOutputKeyClass(Text.class);    job.setOutputValueClass(IntWritable.class);    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));    System.exit(job.waitForCompletion(true) ? 0 : 1);  }}7、上傳類比資料檔案夾。 為了運行程式，需要一個輸入的檔案夾和輸出的檔案夾。輸出檔案夾，在程式運行完成後會自動產生。我們需要給程式一個輸入檔案夾。 （1）、在目前的目錄（如hadoop安裝目錄）下建立檔案夾input，並在檔案夾下建立兩個檔案file1、file2，這兩個檔案內容分別如下： file1 Hello World Bye World  file2 Hello Hadoop Goodbye Hadoop  (2)、.將檔案夾input上傳到Distributed File System中。  在已經啟動Hadoop守護進程終端中cd 到hadoop安裝目錄，運行下面命令： bin/hadoop fs -put input in  8、 配置運行參數：①在建立的項目WordCount，點擊WordCount.java，右鍵-->Run As-->Run Configurations ②在彈出的Run Configurations對話方塊中，點Java Application，右鍵-->New，這時會建立一個application名為WordCount ③配置運行參數，點Arguments，在Program arguments中輸入“你要傳給程式的輸入檔案夾和你要求程式將計算結果儲存的檔案夾”，如：（如果運行時報java.lang.OutOfMemoryError: Java heap space 配置VM arguments(在Program arguments下)-Xms512m -Xmx1024m -XX:MaxPermSize=256m）8、點擊Run，運行程式點擊Run，運行程式，過段時間將運行完成，等運行結束後，可以在終端中用命令如下，查看是否組建檔案夾output： bin/hadoop fs -ls  用下面命令查看產生的檔案內容： bin/hadoop fs -cat output/* 如果顯示如下，說明已經成功在myeclipse下運行第一個MapReduce程式了。 Bye 1    Goodbye 1    Hadoop  2    Hello   2    World   2