在Eclipse中運行、配置Hadoop

標籤：linux   hadoop   Distributed File System   hadoop叢集   mapreduce   

著作權： [email protected]  嚴禁轉載！

1.安裝外掛程式

準備程式：

eclipse-3.3.2（這個版本的外掛程式只能用這個版本的eclipse）
hadoop-0.20.2-eclipse-plugin.jar （在hadoop-0.20.2/contrib/eclipse-plugin目錄下）

將hadoop-0.20.2-eclipse-plugin.jar 複製到eclipse/plugins目錄下，重啟eclipse。

2.開啟MapReduce視圖

Window -> Open Perspective -> Other 選擇Map/Reduce，表徵圖是個藍色的象。

3.添加一個MapReduce環境

在eclipse下端，控制台旁邊會多一個Tab，叫“Map/Reduce Locations”，在下面空白的地方點右鍵，選擇“New Hadoop location...”，：

在彈出的對話方塊中填寫如下內容：

Location name（取個名字）
Map/Reduce Master（Job Tracker的IP和連接埠，根據mapred-site.xml中配置的mapred.job.tracker來填寫）
DFS Master（Name Node的IP和連接埠，根據core-site.xml中配置的fs.default.name來填寫）

4.使用eclipse對HDFS內容進行修改

經過上一步驟，左側“Project Explorer”中應該會出現配置好的HDFS，點擊右鍵，可以進行建立檔案夾、刪除檔案夾、上傳檔案、下載檔案、刪除檔案等操作。

注意：每一次操作完在eclipse中不能馬上顯示變化，必須得重新整理一下。 

5.建立MapReduce工程5.1配置Hadoop路徑

Window -> Preferences 選擇 “Hadoop Map/Reduce”，點擊“Browse...”選擇Hadoop檔案夾的路徑。
這個步驟與運行環境無關，只是在建立工程的時候能將hadoop根目錄和lib目錄下的所有jar包自動匯入。

5.2建立工程

File -> New -> Project 選擇“Map/Reduce Project”，然後輸入項目名稱，建立項目。外掛程式會自動把hadoop根目錄和lib目錄下的所有jar包匯入。

5.3建立Mapper或者Reducer

File -> New -> Mapper 建立Mapper，自動繼承mapred包裡面的MapReduceBase並實現Mapper介面。
注意：這個外掛程式自動繼承的是mapred包裡舊版的類和介面，新版的Mapper得自己寫。

Reducer同理。

6.在eclipse中運行WordCount程式6.1匯入WordCountWordCount6.2配置運行參數

Run As -> Open Run Dialog... 選擇WordCount程式，在Arguments中配置運行參數：/mapreduce/wordcount/input /mapreduce/wordcount/output/1

分別表示HDFS下的輸入目錄和輸出目錄，其中輸入目錄中有幾個文字檔，輸出目錄必須不存在。

6.3運行

Run As -> Run on Hadoop 選擇之前配置好的MapReduce運行環境，點擊“Finish”運行。

控制台會輸出相關的運行資訊。

6.4查看運行結果在輸出目錄/mapreduce/wordcount/output/1中，可以看見WordCount程式的輸出檔案。除此之外，還可以看見一個logs檔案夾，裡面會有啟動並執行日誌