在windows下使用eclipes串連linux下的Hadoop叢集

 來源：http://suxain.iteye.com/blog/1748356 

hadoop 是工作在linux下的分布式系統，做為一個開發人員，對於手裡資源有限，不得不使用只有終端的虛擬機器來運行hadoop叢集。但是，在這種環境下，開發，調試就變得那麼的不容易了。那麼，有沒有辦法在windows下發調試呢。答案是肯定的。

hadoop為我們提供了一個Eclipes外掛程式，使用我們可以在Eclipse環境下開發，調試hadoop程式，那麼，應該如何安裝eclipse-hadoop外掛程式呢。下面把我的研究結果分享給大家（附上我自己編譯的外掛程式）。

1、編譯eclipse-hadoop-plugins

         在hadoop目錄下的找到/src/contrib/eclipse-plugin，用eclipse匯入該project，

 

 

 

  由於外掛程式需要hadoop的一些JAR 檔案，所以，按右鍵項目->build path ->configuretion
build path->libraies->add External jars
。在hadoop的目錄和其lin目錄找到下面的jar，並加入

 

 

然後開啟 build-contrib.xml

修改以下地方

 

<property name="hadoop.root" location="E:\boolbean\eclipseWorkspaces\hadoop-1.1.0" />

<property name="eclipse.home" location="D:/Program Files/eclipse" />

<property name="version" value="1.1.0" />

 

 

然後右擊 build.xml -> run as -> ant build...

編譯成功後，到${hadoop.root}/build/contrib/eclipse-plugin/找到hadoop-eclipse-plugin-1.1.0.jar,

將該JAR複製到eclipse安裝目錄的  plugins目錄下，重啟eclipse。

待eclipse重啟後，選擇window->Preferences,出現效果，剛安裝成功

   

 

交且可以在 Projects Explorer裡看到DFS Location 

 

然後單擊 window -> show views -> others ，找到Map/Reduce Locations，顯示MapReduce視圖

 

 

 

右擊，選擇Edit hadoop location...

 Location name ,自定，無要求

 Map/Reduce Master 對應 mapred-site.xml中設定的IP和連接埠

 DFS Master core-site.xml 中的IP和連接埠

 在 Advanced 中，有各項設定參數，在裡面，對core-site.xml、hdfs-site.xml、mapred-site.xml中設定過的參數，在這裡也做相應的修改。

然後 Finish

 

若成功，在DFS Location出現hdfs目錄結構

 

在eclipse串連hadoop的時候，要關閉linux防火牆，或者編輯iptables過慮規則。

 

     
 以上是本人糾結了很多天糾結出來的結果。編譯安裝過程中，新我這樣的新手會遇到很多問題，各種Google，百度。另外，在串連hadoop的時候，把
eclipse 的 Error log
視圖顯示出來，可以讓我們看到很詳細的錯誤說明。以便找准方向解決問題。當遇到問題是，不防假設，問題會出在哪裡。

 

 

• hadoop-eclipse-plugin-1.1.0.jar (6.1 MB)
• 下載次數: 0