Eclipse編譯運行MapReduce程式 Hadoop

方法行，但代碼如是2.0請修改

準備工作

安裝好 Eclipse，可在 Ubuntu 軟體中心直接搜尋安裝。

在左側工作列，點擊“Ubuntu軟體中心”。

Ubuntu軟體中心

在右上方搜尋欄中搜尋 eclipse，在搜尋結果中單擊 eclipse，並點擊安裝。

安裝Eclipse

如此，就完成了 eclipse 的安裝。Eclipse 的預設安裝目錄為：/usr/lib/eclipse。 安裝 Hadoop-Eclipse-Plugin

下載 hadoop2x-eclipse-plugin ，將 release 中的 hadoop-eclipse-kepler-plugin-2.2.0.jar （雖然標註的是 2.2.0，但在 2.6.0 下是沒問題的，應該在 2.x 版本下都可以）複製到 Eclipse 安裝目錄的 plugin 檔案夾中，運行 eclipse -clean 重啟 Eclipse 即可。

cd ~/下載/ unzip ./hadoop2x-eclipse-plugin-master.zip cd /usr/lib/eclipse sudo cp ~/下載/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-kepler-plugin-2.2.0.jar ./plugins/ ./eclipse -clean 配置 Hadoop-Eclipse-Plugin

啟動 Eclipse 後就可以在左側的Project Explorer中看到 DFS Locations（若看到的是 welcome 介面，點擊左上方的 x 關閉就可以看到了）。

安裝好Hadoop-Eclipse-Plugin外掛程式後的效果

外掛程式需要進一步的配置。

第一步：選擇 Window 菜單下的 Preference。

開啟Preference

此時會彈出一個表單，表單的左側會多出 Hadoop Map/Reduce 選項，點擊此選項，選擇 Hadoop 的安裝目錄（如/usr/local/hadoop，Ubuntu不好選擇目錄，直接輸入就行）。

選擇 Hadoop 的安裝目錄

第二步：切換 Map/Reduce 工作目錄，選擇 Window 菜單下選擇 Open Perspective -> Other，彈出一個表單，從中選擇 Map/Reduce 選項即可進行切換。

切換 Map/Reduce 工作目錄

第三步：建立與 Hadoop 叢集的串連，點擊 Eclipse軟體右下角的 Map/Reduce Locations 面板，在面板中單擊右鍵，選擇 New Hadoop Location。

建立與 Hadoop 叢集的串連

在彈出來的 General 選項面板中進行 Master 的設定，設定要要 Hadoop 的配置一致，如我使用的Hadoop偽分布式配置，設定了 fs.defaultFS 為 hdfs://localhost:9000，則 DFS Master 那的 Post 也應改為 9000。

Location Name 隨意填寫，Map/Reduce Master 的 Host 就填寫你原生IP（localhost 也行），Port 預設就是 50020。最後的設定如下：

Hadoop Location 的設定

接著再切換到 Advanced parameters 選項面板，這邊有詳細的配置，切記需要與 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的設定檔)一致，如我配置了 hadoop.tmp.dir ，就要進行修改。

Hadoop Location 的設定

最後點擊 finish，Map/Reduce Location 就建立好了。

這樣配置就完成了。 在 Eclipse 中查看HDFS中的檔案內容

配置成功後，點擊左側 Project Explorer中的 MapReduce Location 就能直接查看 HDFS 中的檔案內容了（如下圖是 WordCount 的輸出結果），而無需再通過繁瑣的 hdfs dfs -ls 命令。如果無法查看，可嘗試重啟Eclipse。

使用Eclipse查看HDFS中的檔案內容 Tips

HDFS 中的內容變動後，Eclipse 不會同步重新整理，需要右鍵點擊 Project Explorer中的 MapReduce Location，選擇 Refresh，才能看到變動後的檔案。 在Eclipse中建立MapReduce項目

點擊 File 菜單，選擇 New -> Project…:

建立Project

選擇 Map/Reduce Project，點擊 Next。

建立MapReduce項目

填寫 Project name 為 WordCount 即可，點擊 Finish 就建立好了項目。

填寫項目名

此時在左側的 Project Explorer 就能看到剛才建立的項目了。

項目建立完成

接著右鍵點擊剛建立的 WordCount 項目，選擇 New -> Class

建立Class

需要填寫兩個地方：在 Package 處填寫 org.apache.hadoop.examples；在 Name 處填寫 WordCount。

填寫Class資訊

建立 Class 完成後，在 Project 的 src 中就能看到 WordCount.java 這個檔案。將如下 WordCount 的代碼複製到該檔案中。

package org.apache.hadoop.examples; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache