在linux中使用eclipse開發mapreduce__linux

參考 http://www.powerxing.com/hadoop-build-project-using-eclipse/

hadoop-eclipse-plugin下載地址 https://github.com/winghc/hadoop2x-eclipse-plugin   eclipse直接在Ubuntu software center下載安裝 預設安裝路徑為/usr/lib/eclipse   jdk版本需要1.7的 java -version檢查版本，如果不是1.7的執行以下命令 sudo apt-get install openjdk-7-jre openjdk-7-jdk （預設安裝在/usr/lib/jvm/java-7-openjdk-amd64下） vim ~/.bashrc 添加一行 export PATH=$PATH:/usr/lib/jvm/java-7-openjdk-amd64/bin 儲存 source ~/.bashrc   在eclipse根目錄執行 ./eclipse -clean 重啟eclipse看到DFS Locations   啟動hadoop HADOOP_HOME/sbin/start-dfs.sh   再建立串連

第一步：選擇 Window 菜單下的 Preference。

開啟Preference

此時會彈出一個表單，表單的左側會多出 Hadoop Map/Reduce 選項，點擊此選項，選擇 Hadoop 的安裝目錄（如/usr/local/hadoop，Ubuntu不好選擇目錄，直接輸入就行）。

選擇 Hadoop 的安裝目錄

第二步：切換 Map/Reduce 工作目錄，選擇 Window 菜單下選擇 Open Perspective -> Other，彈出一個表單，從中選擇 Map/Reduce 選項即可進行切換。

切換 Map/Reduce 工作目錄

第三步：建立與 Hadoop 叢集的串連，點擊 Eclipse軟體右下角的 Map/Reduce Locations 面板，在面板中單擊右鍵，選擇 New Hadoop Location。

建立與 Hadoop 叢集的串連

在彈出來的 General 選項面板中進行 Master 的設定，設定要要 Hadoop 的配置一致，如我使用的Hadoop偽分布式配置，設定了 fs.defaultFS 為 hdfs://localhost:9000，則 DFS Master 那的 Post 也應改為 9000。

Location Name 隨意填寫，Map/Reduce Master 的 Host 就填寫你原生IP（localhost 也行），Port 預設就是 50020。最後的設定如下：

Hadoop Location 的設定

接著再切換到 Advanced parameters 選項面板，這邊有詳細的配置，切記需要與 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的設定檔)一致，如我配置了 hadoop.tmp.dir ，就要進行修改。

Hadoop Location 的設定

最後點擊 finish，Map/Reduce Location 就建立好了。

這樣配置就完成了。   在 Eclipse 中運行 MapReduce 項目會遇到的問題 更換jdk1.8之後無法運行mapreduce程式，報錯找不到map$Entry什麼的： 官網重新下一個eclipse juno 。解壓縮之後把原eclipse刪掉，並把新的挪過去。記得把hadoop-eclipse外掛程式複製到eclipse的plugin下。     問題：不出現DFS Locations或者preferrence中 hadoop map reduce報錯51 原因：eclipse中用的jdk和編譯外掛程式用的jdk不匹配 解決辦法： 統一jdk為1.7  配置linux的jdk和eclipse中的jdk為1.7 ， 將環境變數添加在~/.bashrc中 #set java environment
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=/usr/lib/jvm/java-7-openjdk-amd64/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#set hadoop environment
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#set scala environment
export SCALA_HOME=/usr/local/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin
#set spark environment
export SPARK_HOME=/usr/local/spark-1.5.2
export PATH=$PATH:$SPARK_HOME   儲存後更新環境變數。source .bashrc   重啟虛擬機器         再次開啟虛擬機器之後又有問題了： 在終端開啟eclipse /usr/lib/eclipse/eclipse -clean     -clean都不行了，重新拷貝jar包，重新匯入