實驗二-1 win7下給eclipse安裝hadoop外掛程式

標籤：

 

使用的教程為： 1. windows7+eclipse+hadoop2.5.2環境配置 http://www.cnblogs.com/huligong1234/p/4137133.html 2. Hadoop 在Windows7作業系統下使用Eclipse來搭建Hadoop開發環境 http://www.linuxidc.com/Linux/2014-12/111061.htm 3. eclipse_win7_hadoop1.2.1開發環境搭建1 http://blog.csdn.net/majian_1987/article/details/23941603

 

 　 1. 下載安裝最新版本Eclipse IDE for Java EE Developers（java環境配置在此不贅述）。

http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/luna/SR2/eclipse-jee-luna-SR2-win32-x86_64.zip

　　2. 將之前編譯好的64位的hadoop-2.5.2.tar.gz下載下來，同官網下載的hadoop-2.5.2-src.tar.gz 一樣，解壓到E:\hadoop。並將老羊群裡給的hadoop2.5.2(x64).zip也解壓到該目錄下，如：

                       

　　3. 添加環境變數HADOOP_HOME=E:\hadoop\hadoop-2.5.2\

追加環境變數path內容：%HADOOP_HOME%/bin

以上變數均添加在系統變數而非使用者變數中。--------（原因不明）

（後面配置paoding環境變數時是配置在hadoop系統中而非虛擬機器系統中------------------------------------------------原因依舊不明）

　　4. 下載外掛程式hadoop-eclipse-plugin-2.5.2.jar並將其複製到Eclipse的目錄的"plugins"中，然後重新Eclipse即可生效。

　　5. 配置Hadoop installation director。開啟菜單Window--Preference--Hadoop Map/Reduce進行配置，在視窗右側設定Hadoop安裝路徑。如所示： 

 

　　6. 配置Map/Reduce Locations

開啟Windows-->Open Perspective-->Other

 

選擇Map/Reduce，點擊OK，在右下方看到有個Map/Reduce Locations的表徵圖，如所示：

 

　　7. 點擊Map/Reduce Location選項卡，點擊右邊小象表徵圖，開啟Hadoop Location配置視窗：輸入Location Name，任意名稱即可.配置Map/Reduce Master和DFS Mastrer，Host和Port配置成與core-site.xml的設定一致即可。
去找core-site.xml配置：

fs.default.name                                                                        hdfs://master:9000

在介面配置如下：
 

接著點擊"Advanced parameters"從中找見"hadoop.tmp.dir"，修改成為我們Hadoop叢集中設定的地址，我們的Hadoop叢集是"/home/hadoop/tmp"，這個參數在"core-site.xml"進行了配置。-----------------這步貌似別人並沒有做，也成功了，關於advanced parameters的配置還需要還再研究下。

 

書上說的配置使用者和使用者組的內容在這裡沒有找到，是在master節點上修改hdfs-site.xml。具體方法見下一頁。

　　8. 查看HDFS檔案系統，並嘗試建立檔案夾和上傳檔案。點擊Eclipse軟體左側的"DFS Locations"下面的"hadoop2.5.2"，就會展示出HDFS上的檔案結構。

 報錯了。解決方式如下：

a.在master節點上修改hdfs-site.xml加上以下內容 <property> <name>dfs.permissions</name>   <value>false</value>   </property> 旨在取消許可權檢查，原因是為瞭解決我在windows機器上配置eclipse串連hadoop伺服器時，配置map/reduce串連後報以下錯誤，org.apache.hadoop.security.AccessControlException:   Permission denied: 如此配置後就可以在Eclipse端操作，而無需打包上傳到hadoop上。 b.同樣在master節點上修改hdfs-site.xml加上以下內容 <property> <name>dfs.web.ugi</name>   <value>Administrator,supergroup</value>   </property> 原因是運行時，報如下錯誤 WARN org.apache.hadoop.security.ShellBasedUnixGroupsMapping:   got exception trying to get groups for user jack 應該是我的windows的使用者名稱為jack，無存取權限 更多許可權配置可參看官方說明文檔： HDFS許可權系統管理使用者指南http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html 配置修改完後重啟hadoop叢集： (貌似最好先stop再修改配置再重啟) stop-dfs.sh stop-yarn.sh sbin/start-dfs.sh sbin/start-yarn.sh

問題解決後不再報錯，如下：

 

右擊可以嘗試建立一個"檔案夾--xiapi"，然後右擊重新整理就能查看我們剛才建立的檔案夾。可以右鍵upload一個檔案，重新整理顯示，並在master上查看到，則代表配置完成。

實驗二-1 win7下給eclipse安裝hadoop外掛程式