walter的hadoop學習筆記四 配置hadoop的eclipse開發環境

Ubuntu 12.04環境中編譯Hadoop-eclipse-plugin-1.0.4.jar包。

1、在Eclipse中選擇File-->Import-->Existing Projects into Workspace導入已有專案，假設路徑為：

$HADOOP_HOME/src/contrib/eclipse-plugin，其預設的專案名稱是MapReduceTools。 導入後因為找不到hadoop-core.jar包，所以專案上有紅色驚嘆號，不用管它【後面lib包加入後會消失】

2、預設專案名稱為MapReduceTools，然後在專案MapReduceTools中新建lib目錄， 先將hadoop下的hadoop-core-1.0.4.jar重命名為hadoop.core.jar，並把hadoop.core.jar、及其lib目錄下的commons-cli-1.2.jar、 commons-lang-2.4.jar、commons-configuration-1.6.jar、jackson-mapper-asl-1.8.8.jar、jackson-core-asl-1.8.8.jar、 commons-HTTPclient-3.0.1.jar拷貝到該目錄。

3、將$HADOOP_HOME/src/contrib/ build-contrib.xml（也就是與eclipse-plugin包在同一級目錄）拷貝到eclipse專案目錄中，並修改build-contrib.xml，將屬性hadoop.root，eclipse.home換為本機電腦上的存放目錄。 並修改當前使用的hadoop版本號。 eg：

<property name="hadoop.root" location="/home/hadoop/Downloads/hadoop-1.0.4"/>
<property name="eclipse.home" location="/home/hadoop/Downloads/eclipse" />

<property name="version" value="1.0.4"/>

4、修改build.xml

  <target name="jar" depends="compile" unless="skip.contrib">
    <mkdir dir="${ build.dir}/lib"/>
    <copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${ build.dir}/lib/hadoop-core.jar" verbose="true"/>
    <copy file="${hadoop.root}/lib/ commons-cli-1.2.jar"  todir="${build.dir}/lib" verbose="true"/>
    <copy file="${ hadoop.root}/lib/commons-lang-2.4.jar"  todir="${build.dir}/lib" verbose="true"/>
    < copy file="${hadoop.root}/lib/commons-configuration-1.6.jar"  todir="${build.dir}/lib" verbose="true"/>
    <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>
    <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar"  todir="${ build.dir}/lib" verbose="true"/>
    <copy file="${hadoop.root}/lib/ commons-HTTPclient-3.0.1.jar"  todir="${build.dir}/lib" verbose="true"/>
    <jar
      jarfile="${build.dir}/ hadoop-${name}-${version}.jar"
      manifest="${root}/META-INF/MANIFEST. MF">
      <fileset dir="${build.dir}" includes="classes/ lib/"/>
      <fileset dir="${root}" includes="resources/ plugin.xml"/>
    </jar>
  </target >

5、修改META-INF/MANIFEST. MF檔，添加lib目錄下的jar包

Bundle-ClassPath: classes/,
lib/hadoop-core.jar,
lib/commons-cli-1.2.jar,
lib/commons-HTTPclient-3.0.1.jar,
lib/jackson-core-asl-1.8.8.jar,
lib/jackson-mapper-asl-1.8.8.jar,
lib/commons-configuration-1.6.jar,
lib/commons-lang-2.4.jar

6、右鍵選擇專案-->Export，類型選擇JAR file，把plugin.xml檔、classes目錄、lib目錄和resources目錄選上，選擇匯出的jar目錄，【匯出時注意，要選擇using exsiting manifest from workspace (也就是要選擇剛配置上一步配置那個檔)，而不要選擇新創建manifest檔】，即可匯出hadoop-eclipse-plugin-1.0.4.jar檔。 此處我在匯出時，hadoop-eclipse-plugin-1.0.4.jar中編譯好的類檔並沒有包含在classes目錄中【其中並沒有classes目錄】，所以先創建一個classes目錄， 將已編譯好的類檔剪切進classes目錄。

6、經過以上幾步，生成的hadoop-eclipse-plugin-1.0.4.jar包便可以使用了。 再把該檔放到eclipse/plugin目錄下面，重啟eclipse。

注：其它版本的編譯辦法也可以通過以上步驟實現。

以上轉載自HTTP://www.linuxidc.com/Linux/2013-01/77921.htm

按照步驟做了沒有成功，不知道是哪裡錯了，所以偷懶了，直接下載編譯好的。 可以從附件中下載編譯好的外掛程式。