win7+Myeclipse10開發Hadoop應用程式環境搭建

標籤：style   blog   java   http   color   com   

1、複製linux下已配置安裝好的hadoop目錄進入windows,

　　同時修改hadoo-env.sh檔案的JAVA_HOME為windows下的jdk目錄。

2、複製hadoop-eclipse-1.2.jar外掛程式進入myeclipse檔案夾下dropins下

　　下載：我的檔案下有一個以hadoop-eclipse1.2.rar檔案（壓縮包），下載下來，將尾碼改為jar就可以了

3、重啟myeclipse

4、配置：windows-Preference->windows下的hadoop目錄

　　

5、編輯hadoop位置

　　

6、設定M/R和DFS 參見mapred-site.xml和core-site.xml的配置

　　

7、設定使用者名稱，linux上的使用者名稱注意

　　

8、設定臨時目錄tmp,參見core-site.xml的配置

　　

9、hadoop服務叢集關閉許可權認證，設定linux上的hadoop/conf下的mapred-site.xml,同時也修改windows上。

1. <property>  
2.     <name>dfs.permissions</name>  
3.     <value>false</value>  
4. </property>  

　　重啟hadoop叢集。

10、儲存myeclipse上的設定，重啟myeclipse，此時配置項會根據tmp的設定重新進行分配設定。

11、仍然需要編輯hadoop地址，設定dfs.replication為1（偽分布下）點擊finish。

　　注意：安裝時在一開始都是fs.的設定，並未出現dfs的配置，這一步可在後面運行程式時，hadoop的配置項會進行改變，再修改也不遲。

12、也許在左側欄會出現

　　

13、環境搭建成功，也許不會出現。（因為我在運行第一次的程式時，這個DFS Locations就不在了，不過不影響程式運行。）

14、下一篇為運行第一個樣本程式WordCount.