Hadoop Eclipse 開發環境的構建

標籤：

1.安裝eclipse  下載的eclipse包直接解壓即可。2.hadoop-eclipse外掛程式的配置  本文使用的Hadoop為1.2.1版本，網上很多教程說該外掛程式在hadoop-1.2.1/contrib/目錄下，但是我發現該目錄下並沒有該外掛程式，如下：    查了一下，發現該外掛程式需要自己編譯，而該外掛程式的源碼在/hadoop-1.2.1/src/contrib/eclipse-plugin/目錄下，本文並沒有編譯，直接在網上下載了一個他人編譯好的，具體的編譯方法請參考博文http://www.cnblogs.com/alex-blog/p/3160619.html。得到hadoop-eclipse-plugin-1.2.1.jar外掛程式後，我們只需將其移動eclipse安裝目錄下的plugins目錄下即可。3.eclipse上配置Hadoop環境。 ① 開啟eclipse,選擇window->Preferences菜單，選擇左側的Hadoop Map/Reduce,按配置hadoop的安裝位置。     ② 選擇eclipse中的window->Show View->Other,選擇MapReduce Tools下的Map/Reduce Locations,如     ③ 上步操作完成後，會出現如下視窗。        將滑鼠放在淺紅色地區，右鍵選擇New Hadoop Location ④ 配置Hadoop Location      其中的Location name隨便寫，Map/Reduce Master配置與hadoop-1.2.1/conf/mapred-site.xml中的一樣，DFS Master的配置與hadoop-1.2.1/conf/core-site.xml一樣。至此，配置工作完成。5.測試是否配置成功  我們建立一個project,然後選擇Map/Reduce Project,再點擊完成時，由於我們是第一次建Map/Reduce工程，會出現如下的視窗，我們選擇Yes即可。    然後，在工程視圖視窗，我們看到DFS的檔案結構，就說明我們的配置成功了。  

在windows下編寫hadoop程式時，需要將Linux下的hadoop拷貝到window下，注意設定檔到要完全一樣。
錯誤處理：
修改Linux伺服器上的hadoop下的hdfs-core.xml檔案，將dfs.permissions屬性設定為false即可。並重啟一下Hadoop。







來自為知筆記(Wiz)

附件列表

• 2015-01-25_225521.png

 

Hadoop Eclipse 開發環境的構建