在Eclipse中執行、配置Hadoop

標籤：c   style   class   blog   code   a   

著作權全部： [email protected]  嚴禁轉載！

1.安裝外掛程式

準備程式：

eclipse-3.3.2（這個版本號碼的外掛程式僅僅能用這個版本號碼的eclipse）
hadoop-0.20.2-eclipse-plugin.jar （在hadoop-0.20.2/contrib/eclipse-plugin檔案夾下）

將hadoop-0.20.2-eclipse-plugin.jar 拷貝到eclipse/plugins檔案夾下，重新啟動eclipse。

2.開啟MapReduce視圖

Window -> Open Perspective -> Other 選擇Map/Reduce，表徵圖是個藍色的象。

3.加入一個MapReduce環境

在eclipse下端，控制台旁邊會多一個Tab，叫“Map/Reduce Locations”，在以下空白的地方點右鍵，選擇“New Hadoop location...”，所看到的：

在彈出的對話方塊中填寫例如以下內容：

Location name（取個名字）
Map/Reduce Master（Job Tracker的IP和port，依據mapred-site.xml中配置的mapred.job.tracker來填寫）
DFS Master（Name Node的IP和port，依據core-site.xml中配置的fs.default.name來填寫）

4.使用eclipse對HDFS內容進行改動

經過上一步驟，左側“Project Explorer”中應該會出現配置好的HDFS，點擊右鍵，能夠進行建立目錄、刪除目錄、上傳檔案、下載檔案、刪除檔案等操作。

注意：每一次操作完在eclipse中不能立即顯示變化，必須得重新整理一下。 

5.建立MapReduceproject5.1配置Hadoop路徑

Window -> Preferences 選擇 “Hadoop Map/Reduce”，點擊“Browse...”選擇Hadoop目錄的路徑。
這個步驟與執行環境無關，僅僅是在建立project的時候能將hadoop根資料夾和lib檔案夾下的全部jar包自己主動匯入。

5.2建立project

File -> New -> Project 選擇“Map/Reduce Project”，然後輸入項目名稱，建立項目。外掛程式會自己主動把hadoop根資料夾和lib檔案夾下的全部jar包匯入。

5.3建立Mapper或者Reducer

File -> New -> Mapper 建立Mapper，自己主動繼承mapred包裡面的MapReduceBase並實現Mapper介面。
注意：這個外掛程式自己主動繼承的是mapred包裡舊版的類和介面，新版的Mapper得自己寫。

Reducer同理。

6.在eclipse中執行WordCount程式6.1匯入WordCountWordCount6.2配置執行參數

Run As -> Open Run Dialog... 選擇WordCount程式，在Arguments中配置執行參數：/mapreduce/wordcount/input /mapreduce/wordcount/output/1

分別表示HDFS下的輸入檔案夾和輸出檔案夾，當中輸入檔案夾中有幾個文字檔，輸出檔案夾必須不存在。

6.3執行

Run As -> Run on Hadoop 選擇之前配置好的MapReduce執行環境，點擊“Finish”執行。

控制台會輸出相關的執行資訊。

6.4查看執行結果在輸出檔案夾/mapreduce/wordcount/output/1中，能夠看見WordCount程式的輸出檔案。除此之外，還能夠看見一個logs檔案夾，裡面會有執行的日誌